node-llama-cpp
90/100node-llama-cpp permite ejecutar modelos LLM localmente mediante bindings para Node.js sobre llama.cpp. Ofrece binarios precompilados, soporte GPU nativo (CUDA, Metal, Vulkan) y funciones avanzadas como llamadas a funciones, embeddings y validación de esquemas JSON en la salida del modelo.