uttera-stt-hotcold
Servidor de transcripción Whisper de alto rendimiento con arquitectura híbrida Hot/Cold, optimizado para GPUs de consumo (8-24 GB VRAM). Ideal para despliegues locales en home-lab o agentes privados como OpenClaw/Open-WebUI, garantizando que los datos nunca salgan del dominio local.
Ficha actualizada 24 sept 2026, 21:12 · upstream 24 sept 2026, 20:54 · release v2.5.0
Qué es uttera-stt-hotcold
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este repositorio implementa un servidor de transcripción automática de audio (STT) basado en el modelo Whisper, diseñado específicamente para entornos de alto rendimiento con una arquitectura híbrida 'Hot/Cold'. La arquitectura Hot mantiene un trabajador residente en VRAM para inferencias sub-segundo en clips cortos, mientras que los trabajadores Cold se generan bajo demanda para procesar archivos largos sin bloquear la latencia rápida. Esta separación permite compartir eficientemente la GPU con otras cargas de trabajo típicas de home-lab.
El servidor expone una API compatible con OpenAI (endpoints /v1/audio/transcriptions y /v1/audio/translations) que soporta todos los formatos de respuesta oficiales (json, text, verbose_json, srt, vtt). Incluye características robustas como detección de actividad de voz para evitar alucinaciones en silencios, un circuito de apertura del motor ante fallos repetidos y validación estricta de parámetros. La traducción nativa es limitada a inglés, pero se puede habilitar la traducción a cualquier idioma mediante integración con LibreTranslate.
El despliegue es sencillo mediante un script unificado que gestiona el entorno virtual, dependencias y descarga del modelo. Soporta ejecución local sin sudo (requiriendo grupos video/render), ofrece modo offline para fijar modelos locales y permite intercambio de backends con la variante vLLM a través del mismo puerto por defecto.
- Transcripción de audio en tiempo real para asistentes de voz o chatbots locales que requieren baja latencia (<0.2s) en comandos cortos.
- Procesamiento de archivos de audio largos (entrevistas, podcasts) sin saturar la GPU con inferencias continuas masivas.
- Despliegue privado en home-lab para herramientas como Open-WebUI o OpenClaw donde los datos no deben salir de la red local.
- Servicio de transcripción multilenguaje (99 idiomas) con opción de traducción a cualquier idioma mediante LibreTranslate.
- Arquitectura híbrida Hot/Cold que optimiza el uso de VRAM en GPUs de consumo (8-24 GB), permitiendo compartir la GPU con otras tareas.
- API compatible con OpenAI completa, incluyendo soporte nativo para todos los formatos de respuesta y detección automática de idioma.
- Mecanismo de circuito de apertura del motor que detecta fallos consecutivos y expone estado 503 en /health sin necesidad de reinicio.
- Detección de actividad de voz integrada (Silero VAD) que ignora segmentos de silencio para evitar transcripciones erróneas.
- Modo offline opcional (UTTERA_OFFLINE=1) que bloquea descargas automáticas y fija el modelo local tras la instalación inicial.
- Validación estricta de parámetros con códigos HTTP semánticos (400, 413, 422, 503) en lugar de errores genéricos.
- Requiere GPU NVIDIA con soporte CUDA; no es compatible con hardware CPU o aceleradores AMD/Intel sin configuración adicional.
- La traducción nativa del modelo Whisper solo funciona para inglés; otros idiomas requieren integración externa con LibreTranslate.
- El modo offline (UTTERA_OFFLINE=1) impide actualizaciones automáticas de modelos, obligando a gestión manual de versiones.
- Los trabajadores Cold consumen recursos al inicio hasta que se agota el pool o el timeout de inactividad expulsa procesos.
- La detección de actividad de voz (VAD) depende de la instalación del paquete silero-vad; si no está presente, la función se deshabilita.
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requiere Python 3.12+ y dependencias ffmpeg/torch. Ejecutar setup.sh para crear entorno virtual y descargar modelo. Asegurar que el usuario pertenezca a grupos video/render para evitar errores de permisos en GPU. Configurar WHISPER_MODEL (ej. turbo) y ajustar COLD_POOL_SIZE según VRAM disponible. Para producción, habilitar CORS solo si es necesario y verificar límites de subida con MAX_FILESIZE_MB.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.