precision-bench
Precision Bench es una herramienta open source para pruebas de carga y monitorización de APIs de LLMs. Proporciona un dashboard local con métricas detalladas como TTFT y TPOT, verificación de caché de prompts y detección de degradación mediante benchmarks sin modelos externos.
Ficha actualizada 26 sept 2026, 3:12 · upstream 26 sept 2026, 2:47 · release v0.3.0
Qué es precision-bench
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Precision Bench es una plataforma de auto-hospedaje basada en Python y FastAPI diseñada para evaluar el rendimiento de endpoints de LLMs de terceros. Incluye un dashboard local que normaliza campos de uso, calcula métricas como TTFT, TPOT e ITL directamente desde el stream SSE y compara ejecuciones posteriores contra una línea base almacenada.
La herramienta soporta tres modos de carga: closed-loop para tráfico realista, open-loop con corrección de omisión coordinada para pruebas de capacidad, y duración para estabilidad a largo plazo. Ofrece verificación de caché de prompts mediante probes activos que distinguen entre hits y misses, y detección de degradación en ocho dimensiones (razonamiento matemático, conocimiento, código, etc.) sin depender de modelos judge externos.
Persiste datos en SQLite con modo WAL para supervivencia ante reinicios. Soporta protocolos OpenAI-compatible, Anthropic Messages y OpenRouter, exportando resultados a CSV/JSON/Markdown y enviando alertas vía webhooks o Feishu.
- Pruebas de carga para descubrir límites de tasa y latencia en proveedores LLM externos
- Monitorización continua de la salud y degradación de APIs de terceros en producción
- Validación de la eficiencia real de la caché de prompts (hit vs miss) y costos asociados
- Comparativa de rendimiento entre múltiples canales o relays de API simultáneamente
- Auditoría de tokenización y normalización de campos de uso por parte del proveedor
- Cálculo preciso de métricas (TTFT, TPOT) extraídas directamente del stream SSE sin intermediarios
- Detección de degradación basada en benchmarks deterministas sin requerir modelos judge externos
- Soporte nativo para normalización de campos de uso en protocolos OpenAI y Anthropic Messages
- Corrección de omisión coordinada para obtener latencias reales en pruebas open-loop
- Persistencia robusta en SQLite WAL que mantiene historial tras reinicios del servidor
- Requiere Python 3.11+ y el gestor de paquetes uv instalado previamente
- El estado de las ejecuciones activas reside en memoria y se pierde al finalizar el proceso
- No debe exponerse directamente a internet sin un proxy inverso autenticado por seguridad
- Algunos conteos de tokens son estimaciones si la API no devuelve el objeto usage explícitamente
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Utilizar `docker compose up -d --build` para despliegue rápido en contenedores. Asegurar que el puerto 8787 esté accesible solo vía proxy inverso autenticado (evitar HOST=0.0.0.0). Ejecutar scripts de servicio (`service.sh`) para integración en sistemas Unix. Verificar compatibilidad con Python 3.11+ y dependencias via uv antes de iniciar.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.