router
Router es una puerta de entrada auto-hospedada para LLM que gestiona contratos de calidad, presupuestos pre-llamada y enrutamiento aprendido. Soporta múltiples frameworks (Go, Python, Node.js) y bases de datos (PostgreSQL, Redis).
Ficha actualizada 22 sept 2026, 16:33 · upstream 21 sept 2026, 5:45 · release v4.0.0
Qué es router
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Metrum AI Router actúa como un gateway inteligente para cargas de trabajo de agentes LLM, permitiendo definir contratos de calidad y coste entre modelos. El sistema utiliza una política de enrutamiento aprendido (LRP) que selecciona dinámicamente el modelo más económico que cumple con umbrales de calidad predefinidos por el operador.
El repositorio incluye componentes para autenticación, admisión de presupuestos, evaluación de elegibilidad y políticas de enrutamiento. Soporta integración con proveedores OpenAI-compatible y modelos alojados bajo un mismo grupo contractual. La arquitectura permite entrenamiento offline de modelos de predicción de calidad usando LightGBM y calibración isotónica.
El sistema implementa mecanismos de seguridad como abstención ante incertidumbre, umbrales de calidad por objetivo y gestión de latencia. Incluye herramientas para etiquetado de resultados, validación de políticas y despliegue en modo sombra antes de activar cambios críticos.
- Gestión centralizada de múltiples proveedores LLM bajo un mismo contrato de calidad
- Optimización de costes manteniendo umbrales de calidad predefinidos por el operador
- Enrutamiento dinámico basado en aprendizaje automático con abstención ante incertidumbre
- Auditoría y trazabilidad completa de decisiones de enrutamiento y costes reales
- Política de enrutamiento aprendido (LRP) que selecciona modelos económicos cumpliendo calidad
- Mecanismos de abstención ante incertidumbre para evitar errores costosos
- Soporte para modelos privados y públicos bajo un mismo grupo contractual
- Validación offline con entrenamiento LightGBM y calibración isotónica
- Modo sombra para pruebas antes de activar políticas aprendidas en producción
- Requiere configuración manual inicial y bootstrap local antes del despliegue
- Dependencia de datos reales para entrenamiento efectivo de modelos de calidad
- No garantiza disponibilidad del proveedor ni cumplimiento normativo automático
- Necesita infraestructura propia para bases de datos PostgreSQL y Redis
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Iniciar en modo sombra (shadow) durante al menos 24 horas antes de activar la política aprendida. Usar claves Ed25519 firmadas para bundles críticos. Monitorear métricas de feedback como latencia, coste real y violaciones de calidad. Mantener plan de rollback rápido a modo baseline ante incidentes.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.