imp
Motor de inferencia LLM optimizado exclusivamente para NVIDIA RTX 5090 (Blackwell). Escrito en C++23/CUDA, soporta APIs OpenAI y Anthropic nativamente, enfocado en agentes y alto rendimiento con NVFP4.
Ficha actualizada 27 sept 2026, 7:33 · upstream 27 sept 2026, 7:20 · release v0.45.0
Qué es imp
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
imp es un motor de inferencia de modelos de lenguaje (LLM) diseñado específicamente para la GPU NVIDIA RTX 5090 (arquitectura Blackwell, sm_120a). A diferencia de soluciones genéricas, este proyecto implementa desde cero en C++23 y CUDA kernels propios para aprovechar al máximo el hardware Blackwell. No es portable a otras GPUs ni a CPU, y requiere Docker con NVIDIA Container Toolkit.
- Despliegue de agentes autónomos con llamadas a herramientas (tool calls) y gestión de contexto largo en una sola RTX 5090.
- Servicio de chat local de alto rendimiento para Qwen3.8-Flash-Next o modelos similares cuantizados en NVFP4.
- Generación de embeddings y tareas de clasificación nativas mediante la API OpenAI.
- Inferencia multimodal con modelos como Qwen3-VL o Gemma-3/4 vía --mmproj.
- Despliegue detrás de un proxy inverso con autenticación por API key y métricas Prometheus.
- Rendimiento superior: decodifica entre 17% y 191% más rápido que llama.cpp en los mismos modelos.
- Soporte nativo para cuantización NVFP4, optimizado para la arquitectura sm_120a de Blackwell.
- APIs OpenAI y Anthropic implementadas nativamente sin necesidad de shims o adaptadores externos.
- Gestión eficiente de memoria con paged KV cache y capacidad de suspender/resumir sesiones.
- Soporte para modelos MoE (Mixture of Experts) y atención FlashAttention-2 en prefill.
- Hardware restringido: solo funciona con GPUs NVIDIA RTX 5090, 5080, 5070 Ti o RTX PRO 6000.
- No es multi-GPU ni soporta CPU; requiere entorno Docker con --gpus all.
- Desarrollado por un único autor sin SLA de soporte rotativo ni garantía comercial.
- No incluye path para CPU, limitando su uso a entornos con aceleración NVIDIA.
- Rendimiento puede variar entre sesiones debido a cambios en la gestión de memoria del kernel.
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requiere Docker y NVIDIA Container Toolkit. Construir imagen con 'make build' o docker compose. Montar volúmenes para modelos (/models) y caché (/home/imp/.cache/imp). Ejecutar con --gpus all y puerto 8080. Verificar CUDA 13.4 en host.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.