LLMProxy
LLMProxy es una pasarela auto-alojada compatible con OpenAI construida en .NET 10 para gestionar múltiples proveedores de LLM, claves API y cuotas. Ofrece enrutamiento inteligente, facturación granular y un panel web integrado.
Ficha actualizada 24 sept 2026, 12:07 · upstream 24 sept 2026, 12:01 · release v0.2.0
Qué es LLMProxy
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
El proyecto destaca por su enfoque en la seguridad y el control de costes, permitiendo definir límites RPM, cuotas mensuales en tokens o dólares y facturación detallada por intento HTTP. Es ideal para organizaciones que necesitan unificar múltiples cuentas de proveedores bajo una única interfaz de programación (SDK) sin exponer credenciales sensibles a las aplicaciones cliente.
- Unificar múltiples claves API de diferentes proveedores (OpenAI, Anthropic, etc.) en un único endpoint compatible con OpenAI para simplificar el desarrollo de aplicaciones.
- Implementar control estricto de costes mediante cuotas mensuales, límites RPM y facturación granular por uso real o tarifas personalizadas.
- Desplegar una pasarela local segura que oculte las credenciales upstream a las aplicaciones cliente, reduciendo riesgos de seguridad.
- Gestionar la resiliencia de la infraestructura mediante enrutamiento automático con circuit breakers y estrategias de fallback entre proveedores.
- Auditar y monitorear el consumo de tokens y costes en tiempo real mediante un panel web integrado y exportación a CSV.
- Utilizar modelos locales (Ollama) o cloud mixtos en la misma infraestructura sin modificar el código de las aplicaciones conectadas.
- Soporte nativo para diez adaptadores de proveedores principales, incluyendo OpenAI, Azure, Anthropic y Ollama.
- Arquitectura limpia en .NET 10 con separación clara entre capas (Domain, Application, Infrastructure) que facilita el mantenimiento.
- Panel de administración web integrado para gestión de claves, configuración de precios y visualización de métricas de uso.
- Mecanismos robustos de enrutamiento con circuit breakers, cooldowns y validación de capacidades del modelo antes de la llamada.
- Licencia MIT que permite uso comercial y distribución sin restricciones de propiedad intelectual.
- Soporte para facturación granular con precios configurables (ordinario, caché, tiers) y reconciliación idempotente.
- Algunos proveedores como Anthropic no soportan embeddings ni respuestas nativas a través de la API compatible con OpenAI.
- La gestión de claves en modo SQLite requiere volúmenes persistentes para evitar pérdida de datos al reiniciar el contenedor.
- El soporte para herramientas (function tools) varía según el adaptador; por ejemplo, Cohere no permite combinarlas con otros parámetros.
- En despliegues multi-instancia se requiere PostgreSQL y Redis externos para mantener la consistencia de las cuotas y el estado.
- La versión 0.2.0 documentada en el README podría tener funcionalidades limitadas respecto a versiones futuras o forks.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Para producción, utilice Docker Compose con PostgreSQL 16 y Redis 7 para persistencia y admisión de control. No exponga las credenciales upstream directamente; configure claves de pasarela (`LLMPROXY_API_KEY`) para autenticación. Asegúrese de que el contenedor no ejecute como root en entornos críticos. Monitoree la salud mediante `/health/ready` y utilice OpenTelemetry para trazabilidad. Actualice las imágenes siguiendo los changelogs para evitar roturas de compatibilidad con bases de datos existentes.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.