Quartermaster
Plataforma local de inferencia todo-en-uno que orquesta múltiples modelos (texto, imagen, audio) automáticamente según la VRAM disponible, ofreciendo una API compatible con OpenAI y Anthropic sin necesidad de configuración manual.
Ficha actualizada 22 sept 2026, 18:18 · upstream 22 sept 2026, 16:42 · release v1.3.0
Qué es Quartermaster
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Quartermaster es una plataforma de inferencia local diseñada para gestionar múltiples modelos en un solo equipo. Funciona como un orquestador inteligente que analiza los encabezados GGUF, calcula automáticamente la asignación de memoria VRAM libre y lanza servidores de inferencia (como llama-server o stable-diffusion.cpp) con las banderas óptimas. Su enfoque principal es la automatización: detecta modelos nuevos en una carpeta, ajusta parámetros como el tamaño del KV-cache y el offload GPU sin intervención manual, y permite cambiar entre modelos sobre la marcha.
- Ejecución de chatbots locales con múltiples modelos según la complejidad de la tarea
- Generación de imágenes y edición mediante una interfaz unificada compatible con APIs estándar
- Transcripción de audio y síntesis de voz utilizando backends como whisper.cpp
- Búsqueda web integrada para enriquecer respuestas sin exponer claves API al cliente
- Configuración automática de parámetros por arquitectura (KV-cache, MoE-aware placement)
- Planificación de carga VRAM en tiempo real que evita desbordamientos de memoria
- API compatible con OpenAI y Anthropic para integración sencilla con aplicaciones externas
- Gestión de variantes de modelos sin reiniciar el servicio principal
- No incluye soporte nativo para contenedores Docker o archivos Dockerfile
- Requiere gestión manual de dependencias del sistema operativo (ej. ROCm en AMD)
- Dependencia de backends externos que deben estar disponibles y configurados correctamente
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Despliegue recomendado en sistemas con GPU NVIDIA, AMD o Intel con al menos 8GB de VRAM. Asegurar acceso a la carpeta de modelos y configurar variables de entorno para rutas de binarios personalizados. Verificar compatibilidad del sistema operativo con los drivers de GPU antes de iniciar el servicio.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.