prometheus-inference-platform
Plataforma auto-alojada de inferencia para LLMs con gateway FastAPI, autenticación OAuth2/JWT y soporte multi-backend (llama.cpp/MLX/vLLM/SGLang). Arquitectura bare-metal + contenedores Podman, sin vendor lock-in.
Ficha actualizada 22 sept 2026, 16:06 · upstream 22 sept 2026, 11:48 · release v2.0.0
Qué es prometheus-inference-platform
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Prometheus es una plataforma de inferencia para modelos de lenguaje de código abierto que ejecuta SLMs en hardware bare-metal mediante llama.cpp y expone capacidades de inferencia a aplicaciones cliente a través de un gateway seguro. El sistema implementa autenticación OAuth2 con JWT, autorización granular por modelo, limitación de tasa y circuit breakers.
La arquitectura consta de tres componentes principales: el Auth Service que registra aplicaciones e issues credenciales efímeras, el Gateway que valida credenciales antes de forwardizar requests al motor de inferencia, y el AI Inference Engine que ejecuta modelos localmente sin exponerlos directamente. El sistema soporta múltiples backends distribuidos en hosts diferentes.
La plataforma incluye un dashboard administrativo React para gestión visual, trazabilidad completa con OpenTelemetry, y scripts automatizados para despliegue en RHEL 9.7. Todo el stack es 100% auto-alojado sin dependencia de proveedores externos.
- Despliegue de modelos LLMs en infraestructura propia sin vendor lock-in
- API compatible con formato OpenAI Chat Completions para integración sencilla
- Gestión centralizada de múltiples backends de inferencia distribuidos
- Implementación de políticas de seguridad OAuth2 con scopes granulares por modelo
- Gateway único que frontiza todos los endpoints de inferencia con validación JWT
- Soporte nativo para múltiples backends: llama.cpp, MLX, vLLM, SGLang
- Autenticación OAuth2 con tokens JWT stateless y TTL por rol configurable
- Dashboard React administrativo con trazabilidad OpenTelemetry completa
- No soporta refresh_token — requiere re-autenticación periódica
- Admin API del auth-service no expone puerto publicado (acceso interno)
- Tokens JWT stateless sin sesiones server-side para renovación automática
- Requiere Podman en lugar de Docker para despliegue
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Prerrequisitos: Python ≥3.11 con uv, Podman + Podman Desktop (Docker no compatible). Para producción: usar podman compose -f podman-compose.yml up --build -d. Gateway en puerto 8000, Auth Service interno sin puerto publicado. Configurar JWT_PUBLIC_KEY_HOST_PATH en .env antes de iniciar. Validar con curl http://localhost:8000/health y POST /oauth2/token con grant_type=liveness-probe (debe retornar 400).
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.