ggrun

ggrun es un launcher diseñado para gestionar el despliegue de modelos MoE grandes que no caben cómodamente en una sola GPU. Analiza la disposición de tensores del archivo GGUF frente a la VRAM, RAM y ancho de banda por GPU disponible, generando un plan de carga que ajusta automáticamente la distribución entre memoria de video y host para evitar errores OOM sin necesidad de ajustar manualmente banderas complejas.

El proyecto se centra en tres objetivos principales: ejecutar modelos MoE grandes que no encajan perfectamente en VRAM, encontrar configuraciones rápidas y estables para el contexto y carga deseados, y habilitar workflows locales con Claude Code (Ultracode) mediante agentes paralelos, herramientas y contextos largos sin inferencia en la nube. No es un motor de inferencia, sino una capa de orquestación que lee el GGUF, construye un plan de lanzamiento para el backend seleccionado, verifica que el plan quepa y mantiene el comando generado visible.

Incluye funcionalidades avanzadas como detección de ancho de banda PCIe real en hardware NVIDIA (--detect --bandwidth), optimización automática de banderas con --ai-tune, reutilización de caché de contexto (--cache-reuse) para reducir latencia en loops de agentes, y compatibilidad con APIs OpenAI y Anthropic. Soporta múltiples backends: ik_llama.cpp CUDA (NVIDIA), llama.cpp Vulkan (AMD/Intel), Metal (macOS experimental) y CPU.