deltallm
DeltaLLM es una puerta de enlace auto-alojada compatible con OpenAI para gestionar despliegues de modelos LLM. Centraliza enrutamiento, control de acceso SSO, auditoría y seguimiento de costes en un único punto de entrada para clientes y aplicaciones.
Ficha actualizada 25 sept 2026, 11:25 · upstream 25 sept 2026, 11:10 · release v0.1.44
Qué es deltallm
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
DeltaLLM actúa como capa intermedia entre las aplicaciones y los proveedores de modelos de lenguaje (OpenAI, Anthropic, Azure, etc.). Permite a los equipos técnicos gestionar despliegues de modelos, definir políticas de seguridad con guardrails contra inyección de prompts o PII, y configurar enrutamiento inteligente con failover automático. La solución incluye una interfaz de administración completa para visualizar métricas Prometheus, logs de auditoría y gestionar claves API con límites específicos por organización.
El software está licenciado bajo MIT, lo que facilita su integración en entornos empresariales sin costes de licencia adicionales. Es especialmente útil para consultores, proveedores de servicios gestionados (MSP) y equipos de plataforma que requieren definir paquetes de modelos versionados, asignarlos a múltiples organizaciones con límites de gasto y precios personalizados. La arquitectura soporta tanto despliegues locales como producciones escalables en Kubernetes.
- Unificar acceso a múltiples proveedores LLM mediante un único endpoint compatible con OpenAI
- Implementar control de gastos y presupuestos por organización o equipo mediante claves API escopadas
- Desplegar guardrails de seguridad para detectar PII e inyección de prompts antes de llamar al proveedor
- Gestionar múltiples instancias de modelos con enrutamiento basado en estrategia y failover automático
- Integrar herramientas MCP externas a través del gateway con control de acceso centralizado
- Proporcionar una interfaz de administración para gestionar usuarios, roles y logs de auditoría sin licencias adicionales
- API unificada compatible con OpenAI que soporta múltiples proveedores (Anthropic, Azure, Bedrock, etc.)
- Sistema de claves API virtualizadas con listas blancas de modelos, límites de tasa y fechas de expiración
- Interfaz de administración web completa para gestión de modelos, rutas, usuarios y logs de auditoría
- Soporte nativo para MCP (Model Context Protocol) para exponer herramientas externas controladas
- Capacidad de ejecutar Batch API asíncrono para embeddings y chat completions no streaming
- Licencia MIT abierta sin costes de licencia por usuario o instancia
- Docker Compose no está diseñado para entornos de producción con alta disponibilidad ni escalado horizontal
- Requiere configuración manual inicial de bootstrap de modelos mediante variables de entorno y claves maestras
- Depende de infraestructura externa gestionada (PostgreSQL, Redis, S3/MinIO) que debe provisionarse por separado
- La interfaz de usuario requiere acceso a la red para conectarse al puerto 4002 sin restricciones de firewall
- No incluye soporte oficial para hot-patching o actualizaciones en caliente durante el despliegue activo
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Para producción, utilice Kubernetes con Ingress y escalado automático; evite Docker Compose en entornos críticos. Configure PostgreSQL y Redis como servicios externos gestionados o auto-alojados según la política de seguridad. Genere claves maestras seguras mediante los scripts proporcionados antes del arranque inicial. Verifique el endpoint de salud en el puerto 4002 tras el despliegue. Consulte la documentación de Kubernetes para configuraciones de alta disponibilidad y persistencia de datos.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.