LlamaToaster
LlamaToaster es una plataforma para benchmarking automatizado de modelos GGUF con llama.cpp que encuentra configuraciones óptimas específicas del hardware mediante barridos exhaustivos y compara resultados contra una base de datos compartida de ~4M archivos indexados por hash SHA256.
Ficha actualizada 27 sept 2026, 16:38 · upstream 27 sept 2026, 16:25 · release sin release detectada
Qué es LlamaToaster
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
LlamaToaster es una herramienta de benchmarking automatizado para inferencia de LLMs con llama.cpp, diseñada para encontrar configuraciones óptimas específicas del hardware del usuario en lugar de depender de recomendaciones genéricas. La plataforma permite ejecutar barridos exhaustivos del espacio de parámetros (como -ngl, context window, batch sizes, speculative decoding) utilizando llama-bench y llama-server, registrando cada medición para identificar la configuración que mejor se adapta a las características específicas de la GPU o CPU local.
El sistema consta de tres componentes principales: un servidor backend con Fastify y SQLite que gestiona la API y base de datos; clientes frontend en React/Vite para el dashboard y panel admin; y workers autónomos que long-pollen al servidor sin necesidad de conexiones entrantes. Los workers pueden ejecutarse en cualquier máquina con salida HTTPS, ideal para rigs domésticos o servidores cloud. Incluye un índice de ~4M archivos GGUF indexados por hash SHA256 para identificación única de modelos.
La plataforma ofrece dos modos de operación: instancia alojada pública donde los usuarios solo necesitan ejecutar scripts de instalación en sus máquinas, o despliegue auto-alojado completo con soporte para autenticación GitHub OAuth (opcional), panel superadmin y asistente de IA configurado mediante variables de entorno. El sistema protege la privacidad no recolectando prompts ni contenido generado, y permite compartir resultados anónimamente con la comunidad mediante controles opt-in en la configuración.
- Encontrar configuraciones óptimas para inferencia local en hardware específico (GPU NVIDIA/AMD o CPU) sin depender de recomendaciones genéricas de blogs o foros
- Comparar rendimiento de diferentes modelos GGUF y configuraciones contra una base de datos compartida con miles de puntos de datos de otros usuarios
- Automatizar pruebas exhaustivas de parámetros de llama.cpp (context window, batch size, -ngl, speculative decoding) para identificar cuellos de botella específicos del hardware
- Desplegar instancia privada sin autenticación para uso personal o en red interna con base de datos compartida desactivada
- Índice de ~4M archivos GGUF indexados por hash SHA256 evita duplicaciones y asegura identificación única de modelos independientemente del nombre de archivo
- Workers pull-only con long-polling eliminan necesidad de port-forwarding o firewall, permitiendo ejecución en cualquier máquina con salida HTTPS
- Base de datos compartida que mejora con el tiempo permite predecir configuraciones óptimas para hardware ya probado por otros usuarios sin re-ejecutar barridos completos
- Panel de IA asistente que analiza resultados directamente y responde preguntas sobre qué parámetros limitan el rendimiento y qué probar a continuación
- Requiere Node.js 22.22.2+ debido a dependencias como better-sqlite3 v13 y Vite 8 para builds del cliente/admin
- Autenticación solo mediante GitHub OAuth actualmente, sin soporte para credenciales tradicionales o email/verificación
- Despliegue auto-alojado es una isla aislada que no contribuye ni recibe datos de la base compartida pública si AUTH_ENABLED=true sin configuración adecuada
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Para despliegue auto-alojado: instalar Node.js 22+, ejecutar npm install en root, luego npm run build y npm run build:admin. Servidor con PORT=3000 npm run server. Para frontend dev: npm run dev:client (port 5173) y npm run dev:admin (port 5174). Variables de entorno clave: AUTH_ENABLED=false para modo single-user sin login, o true con GITHUB_CLIENT_ID/SECRET para OAuth. DB_PATH por defecto ./llamatoaster.db. Para despliegue público detrás de nginx/Caddy usar BIND_HOST=127.0.0.1 nunca 0.0.0.0 directamente.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.