llm-gateway
Manifest LLM Gateway es una puerta de entrada open source compatible con OpenAI que centraliza múltiples proveedores de modelos (300+ a través de 35 conexiones nativas) en un único endpoint. Permite routing personalizado, seguimiento de costes, logs completos y recuperación automática ante fallos.
Ficha actualizada 9 nov 2026, 22:49 · upstream 9 nov 2026, 21:11 · release manifest@6.29.1
Qué es llm-gateway
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Manifest LLM Gateway es una solución open source diseñada para conectar agentes de IA con cualquier proveedor mediante un único endpoint compatible con la API OpenAI. El software elimina el lock-in de proveedores permitiendo enrutar consultas a modelos específicos o usar 'model: auto' para que el sistema seleccione automáticamente el mejor modelo disponible.
El gateway ofrece capacidades avanzadas de observabilidad con logs completos de cuerpo de mensajes (éxito y error), seguimiento granular de cada dólar gastado en APIs, notificaciones configurables y límites presupuestarios. Incluye mecanismos de auto-sanación que redirigen consultas fallidas a modelos alternativos, mejorando la resiliencia de aplicaciones dependientes de IA.
Soporta 300+ modelos a través de proveedores como OpenAI (GPT-5.6, GPT-5.5), Anthropic (Claude Opus 5, Sonnet 5), Google (Gemini 3.5 Flash), Meta, xAI (Grok), AWS Bedrock y más. Cada proveedor puede usarse con API keys propias o suscripciones gestionadas. El despliegue es vía Docker image en múltiples plataformas: Railway, Render, AWS, GCP, DigitalOcean, Fly.io, entre otras.
- Centralizar múltiples proveedores de modelos LLM en un único endpoint OpenAI-compatible
- Implementar routing inteligente con fallback automático a modelos alternativos ante fallos
- Seguir y controlar costes de APIs con notificaciones de límites presupuestarios
- Eliminar lock-in de proveedores mediante gestión unificada de credenciales
- 300+ modelos disponibles a través de 35 conexiones nativas de proveedor más endpoints personalizados
- Endpoint OpenAI-compatible que acepta 'model: auto' para selección automática de modelo
- Logs completos de cuerpo para debugging de éxito y errores
- Seguimiento granular de costes con alertas de límites configurables
- Requiere almacenamiento persistente S3-compatible para registro de peticiones (no incluido en despliegues sin volumen)
- La ruta npm self-hosted antigua ya no está soportada, solo Docker image
- Algunos proveedores como GitHub Copilot requieren suscripción y no API key directa
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Pendiente de la cola editorial R11-R6 con investigación verificable.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.