llama-gpt
Chatbot autoalojado offline basado en Llama 2 y Code Llama. Privacidad total con datos locales. Soporte para GPUs Nvidia vía CUDA. API compatible OpenAI.
Ficha actualizada 18 sept 2026, 19:09 · upstream 23 abr 2024, 18:56 · release sin release detectada
Qué es llama-gpt
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
LlamaGPT es un chatbot de estilo ChatGPT que funciona completamente offline y autoalojado, garantizando privacidad al no transferir datos fuera del dispositivo. Está impulsado por modelos Llama 2 y Code Llama, con soporte para GPUs Nvidia mediante CUDA.
La interfaz web corre en el puerto 3000 y ofrece una API compatible con OpenAI en el puerto 3001, permitiendo integraciones externas. Soporta múltiples tamaños de modelo (7B, 13B, 70B) y variantes especializadas como Code Llama para tareas de programación.
El proyecto utiliza Next.js y Python, con soporte para Docker y Kubernetes. Incluye optimizaciones para hardware Apple Silicon (M1/M2) mediante Metal. Los modelos se descargan automáticamente al primer uso en el directorio /models.
- Chatbot privado local sin enviar datos a servidores externos
- Asistente de programación con Code Llama integrado
- API compatible OpenAI para integraciones personalizadas
- Despliegue en hardware doméstico o servidor propio
- Pruebas de rendimiento con modelos cuantizados GGML/GGUF
- Privacidad garantizada: todo el procesamiento se realiza localmente sin salida de datos
- Soporte nativo para GPUs Nvidia mediante CUDA y aceleración Metal en Apple Silicon
- API compatible con OpenAI disponible en puerto 3001 para integraciones externas
- Modelos pre-cargados incluidos: Llama 2 (7B, 13B, 70B) y Code Llama (7B, 13B, 34B)
- Interfaz web moderna basada en Next.js con soporte para múltiples modelos simultáneos
- No permite cargar modelos personalizados; solo soporta los incluidos en la lista oficial
- Requiere hardware específico: mínimo 6GB RAM para modelos 7B, más para tamaños superiores
- Dependencia de llama-cpp-python y llama.cpp; actualizaciones pueden requerir ajustes
- Rendimiento limitado en hardware de bajo consumo (ej. Raspberry Pi 4: ~0.9 tokens/sec con 7B)
- No hay soporte oficial para cambiar entre modelos dinámicamente sin reinicio
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Recomendaciones: usar Docker o umbrelOS para despliegue simplificado. Asegurar al menos 8GB RAM y 10GB disco libre. Para GPUs Nvidia, añadir --with-cuda en el script de arranque. En Mac M1/M2, verificar soporte Metal. El primer inicio puede tardar en descargar modelos (~3-40GB según modelo). Exponer puertos 3000 (UI) y 3001 (API) correctamente en firewall.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.