llama-mdl
llama-mdl es una herramienta CLI para ejecutar servidores llama.cpp locales desde un archivo de configuración, en lugar de usar flag manual.
Ficha actualizada 23 sept 2026, 2:57 · upstream 23 sept 2026, 2:45 · release v0.6.6
Qué es llama-mdl
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
llama-mdl es una pequeña herramienta CLI que permite ejecutar servidores llama.cpp locales desde un archivo de configuración, en lugar de pegar 'flag soup' directamente en tu shell. La herramienta está escrita en Python y utiliza el estándar library del sistema operativo, lo que la hace compatible con Linux, macOS y Windows sin necesidad de compilación adicional.
El proyecto se divide en dos componentes principales: `mdl.py` y `mdl_ui.py`. El primero es un script único que gestiona los servidores llama.cpp a través de modelos predefinidos. El segundo añade una interfaz terminal opcional llamada 'dashboard' basada en Textual, la cual requiere dependencias externas.
En su uso práctico, llama-mdl realiza dos funciones principales: gestiona múltiples servidores llama.cpp mediante archivos de configuración personalizados y responde a preguntas sobre el rendimiento del modelo en tu hardware antes de ejecutarlo. Esto incluye determinar qué hará un GGUF dado, calcular los flags necesarios (como cuantización o caché), verificar si la cuantización elegida es significativamente peor que otra opción, y encontrar el mejor modelo disponible para tu máquina.
La herramienta también ofrece comandos como `mdl fit` para analizar qué funcionará un modelo en tu hardware, `mdl eval` para evaluar modelos contra una suite de pruebas privada, y `mdl catalog` o `mdl find` para descubrir modelos disponibles. Además, soporta modelos multimodales mediante archivos adicionales llamados 'mmproj-*.gguf' que contienen el proyector visual.
- Ejecutar un servidor llama.cpp local desde una configuración de archivo sin necesidad de configurar flags manualmente
- Gestionar múltiples servidores llama.cpp en paralelo a través de archivos de configuración personalizados
- Determinar qué funcionará un modelo GGUF antes de ejecutarlo, incluyendo análisis de rendimiento y cuantización
- Evaluar modelos contra una suite de pruebas privadas para comparar sus capacidades
- Descubrir y encontrar modelos disponibles en repositorios privados o locales
- Gestionar servidores multimodales con archivos adicionales que contienen el proyector visual
- Soporta múltiples cuantizaciones (Q4_K_M, Q5_K_M, etc.) mediante un solo archivo de configuración
- Permite ejecutar varios modelos simultáneamente asignándoles puertos distintos
- Incluye una interfaz terminal opcional basada en Textual para visualizar el estado de los servidores
- Soporta modelos multimodales con archivos adicionales que contienen el proyector visual
- Ofrece herramientas de diagnóstico como `mdl doctor` y `mdl fit` para analizar rendimiento sin ejecutar nada
- Permite guardar versiones previas de la configuración mediante backups automáticos
- Requiere Python 3.11+ con el módulo tomllib (Python 3.9-3.10 no soportado)
- El dashboard opcional requiere instalación adicional de Textual
- No incluye soporte nativo para Windows en su versión actual
- Los modelos multimodales requieren archivos adicionales que no están incluidos por defecto
- La cuantización Q4_K_M puede ser ineficiente en hardware con poca memoria VRAM
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Para instalar, ejecuta `pipx install llama-mdl` o `pip install llama-mdl`. Si deseas la interfaz de terminal, instala `pipx install "llama-mdl[ui]"`. Para actualizar, usa `pipx upgrade llama-mdl`. El paquete se instala como `llama-mdl`, pero el comando instalable es `mdl`. No hay dependencias externas para comandos básicos. Si necesitas Windows, puedes usar Wine o instalar Python 3.11+ directamente. La versión actual no incluye soporte nativo para Windows.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.