intel_arc_gpu_llm
Stack Docker para servir LLMs compatibles con OpenAI en GPU Intel Arc Pro B60 usando vLLM. Incluye tres motores intercambiables (stock, scaler, openai-xpu), scripts de benchmark y monitorización de energía nativa para Linux.
Ficha actualizada 26 sept 2026, 15:53 · upstream 26 sept 2026, 15:36 · release v0.0.12
Qué es intel_arc_gpu_llm
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este repositorio proporciona un stack Docker reproductible para desplegar modelos de lenguaje grandes (LLMs) localmente en hardware Intel Arc Pro B60 mediante el motor vLLM. La solución está diseñada exclusivamente para sistemas operativos Linux modernos con el driver `xe` instalado, permitiendo la gestión de modelos como gemma-4 o gpt-oss a través de una API compatible con OpenAI.
La arquitectura soporta tres motores intercambiables que comparten un volumen de caché común, evitando duplicación de pesos y optimizando el uso de VRAM. Cada motor (stock Intel, fork llm-scaler o upstream openai-xpu) tiene su propia configuración para equilibrar rendimiento, compatibilidad con modelos específicos y características de razonamiento.
El despliegue incluye herramientas nativas para la monitorización del consumo energético (`watt.sh`) y la utilización de VRAM (`nvtop`), además de scripts para validar el funcionamiento (`smoke.sh`) y medir latencia (`bench.sh`). La configuración permite cambiar entre modelos o motores sin perder los pesos descargados, facilitando pruebas comparativas y despliegues productivos estables.
- Despliegue local seguro de LLMs en hardware Intel Arc Pro B60
- Evaluación de rendimiento con benchmarks de latencia y throughput
- Pruebas de capacidades de razonamiento y trazas de pensamiento (`reasoning`)
- Monitorización del consumo energético en tiempo real mediante sysfs
- Servidor API compatible con OpenAI para integración con gateways o UIs
- Comparativa técnica entre diferentes versiones y forks de vLLM
- Soporte nativo para driver `xe` de Intel sin necesidad de emulación CUDA
- Tres motores intercambiables que comparten caché de modelos en volumen único
- Scripts incluidos para benchmarking (`bench.sh`) y pruebas de corrección (`smoke.sh`)
- Capacidad de servir trazas de razonamiento explícitas en el JSON de respuesta
- Monitorización directa del consumo energético mediante `watt.sh` sin root
- Compatibilidad con modelos específicos como gemma-4 y gpt-oss-20b
- Soporte exclusivo para Linux; Windows y macOS no son compatibles
- Requiere hardware específico Intel Arc Pro B60 (no funciona con otras GPUs)
- Cambio de motor requiere detener el servicio actual antes de iniciar otro
- Arranque en frío lento debido a la inicialización del pool de KV (10-15 min)
- Gestión manual de modelos mediante archivos `.env` o bloques `command`
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Ejecutar desde el root con `docker compose -f <folder>/compose.yaml up -d`. Nunca usar `--remove-orphans` al detener, ya que borra la caché compartida. Verificar modelo activo con `curl localhost:8000/v1/models`. Usar scripts de monitorización para validar estabilidad antes de producción.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.