uttera-stt-vllm
Servidor de Reconocimiento de Voz a Texto (STT) de alto rendimiento basado en vLLM y Whisper-large-v3-turbo.
Ficha actualizada 24 sept 2026, 21:12 · upstream 24 sept 2026, 20:54 · release v1.5.0
Qué es uttera-stt-vllm
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este repositorio implementa un servidor de Reconocimiento de Voz a Texto (STT) de alto rendimiento construido sobre el motor vLLM para procesamiento continuo por lotes. Utiliza Whisper-large-v3-turbo actualmente, con capacidad para futuros modelos Transformer. Está diseñado específicamente para entornos con GPUs dedicadas de gran memoria (VRAM ≥ 32 GB), donde la utilización continua del hardware es prioritaria frente a soluciones hot/cold.
La arquitectura se basa en un único proceso Python que integra el motor vLLM (`AsyncLLM`) y una capa FastAPI expone endpoints compatibles con OpenAI para transcripción y traducción. Incluye gestión robusta de errores, validación estricta de parámetros (formato de respuesta, temperatura), detección de actividad de voz (VAD) para evitar alucinaciones en silencios y un sistema de circuit breaker para recuperación automática sin reinicio.
Destaca por su eficiencia operativa, alcanzando ratios reales de tiempo (RTF) superiores a 400x en hardware como la RTX 5090. Ofrece observabilidad nativa mediante métricas Prometheus, soporte para múltiples formatos de salida (SRT, WebVTT, JSON) y una configuración flexible vía variables de entorno para despliegues autoalojados o multi-inquilino.
- Transcripción masiva de audio en entornos cloud con GPUs dedicadas
- Procesamiento de streams concurrentes de voz para aplicaciones de IA
- Servidor backend para servicios de transcripción y traducción automática
- Infraestructura de alto rendimiento para análisis de contenido de audio
- Ratio tiempo real (RTF) superior a 400x en GPU RTX 5090 con batching continuo
- API compatible con OpenAI soportando todos los formatos de respuesta (SRT, VTT, JSON)
- Robustez operativa con circuit breaker y detección de actividad de voz integrada
- Métricas Prometheus nativas para monitorización y facturación de uso
- Traducción automática vía LibreTranslate con alineación temporal en subtítulos
- Requiere GPU con al menos 32 GB VRAM para aprovechar el batching continuo eficazmente
- No incluye pool de workers hot/cold, ideal solo para cargas sostenidas masivas
- Dependencia externa de LibreTranslate para funcionalidad de traducción nativa
- Configuración inicial requiere instalación manual del entorno Python o Docker Compose
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requiere GPU con ≥32 GB VRAM y vLLM ≥ 0.24. Se recomienda usar `docker compose` o `uvicorn` directamente. Configurar `VLLM_GPU_MEM_UTIL` para gestionar memoria. Habilitar CORS solo si es necesario. Verificar `UTTERA_OFFLINE` para evitar descargas no deseadas en producción.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.