BrighTO_Router
BrighTO_Router es una puerta de enlace LLM auto-alojada escrita en Rust, ultra rápida y compatible con OpenAI/Anthropic. Gestiona claves de equipo, presupuestos de tokens y balancea carga entre modelos locales o cloud mediante grupos de modelos.
Ficha actualizada 24 sept 2026, 9:11 · upstream 24 sept 2026, 9:02 · release sin release detectada
Qué es BrighTO_Router
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
BrighTO_Router es una solución open-source diseñada para actuar como un punto de entrada único y estable para múltiples proveedores de IA (OpenAI, Anthropic, endpoints locales). Escrita en Rust, prioriza el rendimiento con un passthrough de tráfico masivo en milisegundos, evitando la sobrecarga típica de proxies pesados. Su arquitectura se basa en una imagen Docker única, PostgreSQL como almacén durable y no requiere Redis para su funcionamiento básico en la versión 1.0.
- Centralizar múltiples proveedores de LLM (OpenAI, Anthropic, local) bajo un único endpoint API compatible con OpenAI/Anthropic.
- Distribuir tráfico entre varios endpoints backend mediante grupos de modelos con balanceo round-robin o ponderado.
- Gestionar presupuestos de tokens y límites de uso por equipo sin exponer las claves de los proveedores a la aplicación cliente.
- Actuar como proxy seguro para agentes con contextos grandes, evitando almacenar prompts ni respuestas en el router.
- Alternativa auto-alojada ligera a plataformas como LiteLLM o Bifrost cuando se prioriza velocidad y control sobre funcionalidades de plataforma.
- Rendimiento nativo en Rust con sobrecarga de passthrough inferior a 3 ms para contextos de 1 millón de tokens en HTTP.
- Arquitectura simplificada que elimina la dependencia de Redis en la versión 1.0, usando solo PostgreSQL y una imagen Docker.
- Balanceo de carga integrado mediante Model Groups con soporte para round-robin y weighted round-robin sin reconfigurar el cliente.
- Privacidad por diseño: registra metadatos de uso pero no almacena texto de prompts, payloads de herramientas ni respuestas del modelo.
- Soporte nativo para múltiples tareas: chat, embeddings, rerank, ASR/transcripción y endpoints compatibles con Anthropic Messages.
- Requiere infraestructura Linux con Docker y Docker Compose; no soporta instalación one-click en entornos Windows o macOS sin WSL.
- La configuración de seguridad (ADMIN_MASTER_KEY, ADMIN_ALLOW_CIDR) requiere intervención manual para producción segura tras la instalación inicial.
- No es una plataforma completa de agentes: se limita a enrutar tráfico y gestionar políticas, sin capacidades de orquestación de flujos de trabajo complejos.
- El balanceo de carga añade latencia mínima (hasta 13 ms p50 en grupos grandes) comparado con el passthrough directo de un único endpoint.
- Dependencia de PostgreSQL para persistencia; no incluye migraciones automáticas si se cambia la versión del binario o la imagen Docker sin seguir procedimientos.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Instalar mediante `curl` o `./start.sh install`. Configurar `.env` con claves maestras y restringir acceso admin a subredes específicas antes de producción. Verificar puertos (18080, 55432, etc.) y usar la imagen oficial `thusinh1969/brighto_airouter:v1`. Para balanceo, crear Model Groups en el portal o vía API.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.