node-llama-cpp
node-llama-cpp permite ejecutar modelos LLM localmente mediante bindings para Node.js sobre llama.cpp. Ofrece binarios precompilados, soporte GPU nativo (CUDA, Metal, Vulkan) y funciones avanzadas como llamadas a funciones, embeddings y validación de esquemas JSON en la salida del modelo.
Ficha actualizada 9 nov 2026, 23:45 · upstream 5 nov 2026, 15:40 · release v3.22.3
Qué es node-llama-cpp
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este paquete facilita el despliegue de inteligencia artificial local sin necesidad de servidores externos, integrando directamente las capacidades de llama.cpp en entornos JavaScript/TypeScript. Proporciona binarios precompilados para múltiples plataformas (macOS, Linux, Windows), eliminando la dependencia de Python o node-gyp durante la instalación estándar, aunque permite construir desde fuente con cmake si es necesario.
Incluye una suite completa para proyectos de desarrollo, permitiendo chat interactivo vía CLI, gestión de contextos y llamadas a funciones externas. La librería prioriza la seguridad contra inyecciones de tokens especiales y adapta automáticamente el uso del hardware disponible, incluyendo aceleración por GPU sin configuración manual compleja.
Además, soporta operaciones avanzadas como embeddings y reranking para tareas de recuperación de información, manteniendo una complejidad baja y una experiencia de desarrollador robusta con documentación exhaustiva y soporte TypeScript.
- Chat local sin servidor
- Integración de LLM en apps Node.js
- Validación de salida JSON estructurado
- Llamadas a funciones externas (Function Calling)
- Embeddings para búsqueda semántica
- Análisis de texto con CLI
- Soporte nativo para aceleración GPU (CUDA, Metal, Vulkan)
- Binarios precompilados sin necesidad de Python
- Tipado completo en TypeScript
- Seguridad contra inyección de tokens
- CLI integrada para uso inmediato
- Validación de esquemas JSON en generación
- No incluye contenedores Docker o Compose nativos
- Requiere descarga y gestión manual de modelos GGUF
- Dependencia de la librería llama.cpp externa
- Sin soporte one-click para todas las arquitecturas
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Pendiente de la cola editorial R11-R6 con investigación verificable.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.