inference-gateway
Inference Gateway es un proxy open-source cloud-native que unifica múltiples proveedores de modelos de lenguaje (OpenAI, Ollama, Groq) detrás de una única API compatible con OpenAI.
Ficha actualizada 22 sept 2026, 16:49 · upstream 22 sept 2026, 15:51 · release v0.54.1
Qué es inference-gateway
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Inference Gateway actúa como un proxy server diseñado para facilitar el acceso a diversas APIs de modelos de lenguaje mediante una interfaz unificada. Permite a los usuarios interactuar con diferentes modelos a través de una única API compatible con OpenAI, simplificando la configuración y el proceso de envío de solicitudes y recepción de respuestas desde múltiples LLMs, habilitando así un uso fácil del Mixture of Experts.
El proyecto está construido sobre tecnologías como Go, Rust y Python, ofreciendo soporte nativo para contenedores Docker y despliegues en Kubernetes mediante su propio Operator. Incluye capacidades avanzadas como la integración completa con el Model Context Protocol (MCP), lo que permite descubrir y exponer herramientas de servidores MCP a los LLMs automáticamente, además de soporte para streaming de tokens en tiempo real y manejo de visión multimodal.
En términos de seguridad y observabilidad, la solución está preparada para entornos empresariales con autenticación OIDC, autorización configurable, timeouts ajustables y soporte TLS. Proporciona métricas Prometheus siguiendo las convenciones semánticas GenAI y un endpoint OTLP para push, todo ello manteniendo una ligereza notable con un binario de aproximadamente 10.8MB y un footprint de recursos mínimo.
- Unificar múltiples proveedores de LLM en una sola API para aplicaciones existentes sin modificar el código cliente.
- Implementar Mixture of Experts (MoE) rotando dinámicamente entre modelos locales como Ollama y proveedores cloud como OpenAI o Groq.
- Integrar herramientas externas y contextos externos vía Model Context Protocol (MCP) para enriquecer las respuestas de los LLMs.
- Habilitar capacidades multimodales procesando imágenes junto con texto utilizando modelos vision-capable a través del mismo endpoint.
- Desplegar en entornos Kubernetes con escalado horizontal automático y gestión de recursos mediante el Inference Gateway Operator.
- Centralizar la gestión de credenciales y configuración de proveedores mediante variables de entorno sin tocar el código fuente.
- Unificación de API: Compatible con OpenAI para todos los proveedores soportados, simplificando la integración.
- Integración MCP: Soporte nativo para Model Context Protocol y descubrimiento automático de herramientas.
- Bajo consumo: Binario ligero (~10.8MB) con footprint mínimo de recursos en comparación con otros proxies.
- Observabilidad: Métricas Prometheus y soporte OpenTelemetry (OTLP) siguiendo convenciones GenAI.
- Seguridad empresarial: Autenticación OIDC, autorización configurable, control de timeouts y soporte TLS.
- Streaming universal: Soporte para streaming de tokens en tiempo real desde todos los proveedores compatibles.
- Dependencia de MongoDB para persistencia según el análisis técnico, lo que añade una base de datos externa al despliegue.
- La visión/multimodal está deshabilitada por defecto y requiere activar la variable de entorno VISION_ENABLED=true.
- La generación de imágenes solo está disponible para el proveedor OpenAI con el flag IMAGES_ENABLED=true.
- El manejo de contenido de imagen se filtra o procesa según configuración, requiriendo atención a la privacidad de datos visuales.
- Requiere conocimientos de contenerización (Docker/Kubernetes) para un despliegue robusto y escalable.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Utilizar Docker para despliegue rápido o Kubernetes con el Operator para escalado horizontal. Configurar variables de entorno para habilitar visión (VISION_ENABLED=true) o imágenes (IMAGES_ENABLED=true). Asegurar al menos 4 núcleos CPU y 8GB RAM según especificaciones recomendadas. Habilitar OpenTelemetry para métricas en Prometheus. Verificar configuración de MongoDB antes del arranque.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.