octoroute
Octoroute v3 es un router HTTP compatible con OpenAI para orquestar inferencias de LLMs locales (llama.cpp) y proveedores externos. Proporciona balanceo de carga, métricas Prometheus y enrutamiento basado en reglas sin clasificar prompts.
Ficha actualizada 24 sept 2026, 19:43 · upstream 24 sept 2026, 19:17 · release v3.0.3
Qué es octoroute
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Octoroute actúa como una tela de inferencia compatible con OpenAI, permitiendo a los clientes utilizar nombres de modelos virtuales estables mientras el sistema selecciona automáticamente un pool local o un proveedor externo según la configuración. El enrutamiento se basa exclusivamente en reglas definidas en `config.toml`, sin clasificación de prompts por parte del gateway.
El sistema soporta múltiples rutas virtuales como `worker` (solo pools locales), `auto-route` (pools locales primero, luego proveedores) y `cloud-sota` (escalado solo a proveedores). Incluye verificaciones de salud, endpoints Prometheus para métricas detalladas y gestión de concurrencia por miembro o proveedor. La privacidad se garantiza mediante el encabezado `X-Octoroute-Privacy: local-only`, que evita contactar proveedores cuando no es necesario.
El despliegue requiere Rust 1.90+ (MSRV actual 1.97.1), configuración manual de credenciales en variables de entorno y generación de archivos de configuración. No incluye Docker ni soporte one-click, por lo que el despliegue se realiza mediante `cargo run --release` con un archivo `config.toml` específico.
- Orquestar inferencias locales y cloud desde una única API compatible con OpenAI
- Proteger prompts sensibles evitando su exposición a proveedores externos mediante enrutamiento local forzado
- Gestionar múltiples modelos virtuales que mapean a pools físicos o cadenas de proveedores
- Monitorear la salud y latencia de pools locales y proveedores con métricas Prometheus
- Enrutamiento basado en reglas sin clasificación de prompts por parte del gateway
- Soporte nativo para llama.cpp, OpenRouter, z.ai, OpenAI y Codex CLI
- Métricas Prometheus detalladas con etiquetas fijas para admisiones, respuestas y fallos
- Gestión segura de credenciales mediante caché y sondeos de disponibilidad
- No incluye Docker ni archivos `Dockerfile` o `docker-compose.yml`
- Requiere Rust 1.90+ (MSRV actual 1.97.1) para compilar
- Las credenciales de proveedores deben configurarse manualmente en `.env`
- No soporta despliegue one-click ni entornos containerizados oficiales
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requiere Rust 1.90+ (MSRV actual 1.97.1). Copiar `.env.example` a `.env`, generar `config.toml` con `cargo run -- config` y ejecutar `cargo run --release -- --config config.toml`. Para despliegue local, usar `config.laptop.toml` en `http://127.0.0.1:8080`. Asegurar que al menos un pool local o proveedor esté configurado antes de iniciar.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.