llm-ferry

llm-ferry actúa como puerta de entrada artificial para redes locales, permitiendo a múltiples clientes acceder a modelos de IA desde un único host Mac. Centraliza la gestión de suscripciones de proveedores como OpenAI o Anthropic mediante OAuth, asegurando que las claves nunca abandonen el servidor principal. El sistema soporta tanto inferencia local optimizada con MLX en hardware Apple Silicon como proxy de servicios en la nube, configurando rutas de fallback automáticas para mantener la disponibilidad.

Incluye Signal Studio, una interfaz visual para diseñar cadenas de modelos y monitorizar tráfico en tiempo real. Además, facilita la transferencia de archivos o modelos completos entre dispositivos mediante su propia red, y permite túneles inversos para clientes con restricciones de salida. Es ideal para laboratorios domésticos o equipos pequeños que buscan optimizar costes y centralizar seguridad.

La arquitectura se basa en Python estándar y zsh sin dependencias pesadas como Docker, lo que reduce la huella del host pero exige gestión manual de actualizaciones. El despliegue requiere un Mac potente con GPU integrada para aprovechar las capacidades de MLX, mientras que los clientes pueden ser cualquier dispositivo compatible con HTTP.