llm-homelab
Configuración de herramientas open source para ejecutar modelos LLM localmente en hardware propio. Incluye llama-swap, llama.cpp y gestión de energía GPU vía systemd. Requiere Docker Compose y configuración manual de variables de entorno.
Ficha actualizada 28 sept 2026, 11:17 · upstream 28 sept 2026, 11:16 · release sin release detectada
Qué es llm-homelab
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este repositorio proporciona una configuración completa para desplegar modelos de lenguaje grandes (LLM) en un entorno doméstico o servidor personal. Utiliza herramientas como llama-swap para gestionar múltiples instancias de modelos, integrando backends como llama.cpp e ik_llama.cpp para inferencia eficiente. La configuración incluye scripts para descargar modelos desde Hugging Face y servicios systemd para limitar la potencia de la GPU NVIDIA y controlar iluminación RGB.
El despliegue se realiza mediante Docker Compose, permitiendo una orquestación sencilla de los contenedores necesarios. Se requiere configurar variables de entorno como HF_TOKEN en un archivo .envrc gestionado por direnv para autenticación segura con repositorios de modelos. El sistema está optimizado para hardware específico, aunque la arquitectura es adaptable a diferentes configuraciones de CPU y GPU mediante módulos del kernel y drivers adecuados.
- Ejecución local de chatbots LLM sin enviar datos a la nube
- Gestión de múltiples modelos en un solo nodo con llama-swap
- Inferencia eficiente en hardware NVIDIA con gestión de límites de potencia
- Automatización de descargas de modelos desde Hugging Face
- Soporte nativo para Docker Compose y scripts de arranque uno clic (run.sh)
- Integración con llama.cpp e ik_llama.cpp para inferencia optimizada
- Gestión de energía GPU mediante systemd para evitar sobrecalentamiento
- Uso de direnv para gestión segura de credenciales Hugging Face
- Configuración inicial requiere conocimientos de línea de comandos y Docker
- Dependencia de drivers NVIDIA específicos (CUDA 13.4) en la documentación de ejemplo
- Requiere configuración manual de tokens de autenticación en .envrc
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Clonar repositorio, copiar .envrc.example a .envrc, configurar HF_TOKEN y ejecutar ./run.sh. Asegurar permisos de lectura en .envrc con direnv allow. Verificar compatibilidad de drivers GPU antes de iniciar servicios systemd.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.