local-ai-server
Local AI Server es un servidor de IA local para Linux que ejecuta modelos GGUF con llama.cpp, aceleración GPU/Vulkan, API compatible OpenAI y gestión systemd.
Ficha actualizada 23 sept 2026, 6:30 · upstream 23 sept 2026, 6:19 · release v1.6.10
Qué es local-ai-server
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Local AI Server permite ejecutar modelos de lenguaje GGUF (como Qwen2.5-Coder-7B-Instruct) de forma completamente local en servidores Linux, sin depender de APIs externas ni servicios cloud. Utiliza llama.cpp como motor de inferencia, con soporte para aceleración CPU y GPU vía Vulkan, ROCm, OpenVINO, SYCL o CUDA. El servidor ofrece una API compatible con OpenAI (chat completado y generación de texto) y un sistema de descubrimiento automático de modelos GGUF en la carpeta configurada por defecto (~/ai/models). Además, integra llama-swap para cambiar entre modelos sin reiniciar el servicio, gestión systemd user-friendly, interfaz web mediante llama.cpp y llama-swap, y métricas Prometheus. Todo esto se gestiona con scripts Bash simples que no requieren instalación de runtime adicional.
- Ejecutar múltiples modelos GGUF (como Qwen2.5-Coder-7B-Instruct) en un servidor Linux sin necesidad de instalar herramientas adicionales como Ollama o LM Studio
- Servir modelos locales para aplicaciones que requieren privacidad y control total sobre los datos, evitando depender de APIs cloud
- Implementar servicios de chat o generación de texto localmente en entornos corporativos o gubernamentales con requisitos estrictos de seguridad
- Desarrollar aplicaciones que necesitan acceso a modelos GGUF sin dependencias externas ni configuraciones complejas
- Ejecutar modelos GGUF en servidores Linux con GPU (NVIDIA) para aceleración rápida mediante Vulkan, ROCm o CUDA
- Servir modelos GGUF como alternativa a OpenAI API cuando se requiere evitar costos de suscripción o dependencia de servicios externos
- Soporta múltiples backends de llama.cpp (CPU, Vulkan, ROCm, OpenVINO, SYCL) sin necesidad de re-instalar el servidor
- API compatible con OpenAI permite integración directa con aplicaciones existentes que consumen la API estándar
- Descubre y carga automáticamente modelos GGUF en la carpeta configurada (~/ai/models), eliminando la necesidad de copiar archivos manualmente
- Soporta modelos de split GGUF (fragmentos) mediante llama.cpp, permitiendo cargar modelos grandes sin problemas de fragmentación
- Permite aceleración GPU con auto-tuning por modelo y soporte para speculative decoding en tiempo real
- Ofrece interfaz web integrada vía llama-swap y llama.cpp que muestra el estado del servicio y permite carga/descarga de modelos
- No incluye un backend CUDA pre-instalado; se requiere compilar llama.cpp manualmente con CUDA Toolkit o usar backends alternativos como Vulkan/ROCm
- La aceleración GPU depende de la disponibilidad del driver NVIDIA y del hardware correspondiente, lo que puede no funcionar en GPUs sin soporte oficial
- No incluye un backend de IA pre-instalado (como Ollama); se debe compilar llama.cpp desde source o usar backends alternativos
- La aceleración GPU con Vulkan/ROCm/OpenVINO requiere compilación manual del proyecto y configuración adicional por parte del usuario
- El sistema operativo no es Linux; solo funciona en entornos x86-64 Linux (Ubuntu, Debian, Fedora, RHEL)
- No incluye un backend de IA pre-instalado como Ollama o LM Studio; se debe compilar llama.cpp desde source
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Instalar: usar 'curl -fsSL https://hossbit.github.io/localai/install.sh | bash' para instalación en línea, o 'curl ... | LLAMA_CPP_BACKEND=cpu bash' para CPU-only. Para GPU, instalar backend con 'localai backend install cuda' y compilar llama.cpp manualmente con CUDA Toolkit. El servicio se ejecuta como systemd user service con permisos de usuario. Se recomienda usar un volumen de disco para guardar los modelos GGUF. Para producción, configurar el límite de conexiones en la configuración y monitorizar el uso de CPU/GPU mediante Prometheus.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.