glm53-flash-exl3-2x-dgx-spark
Kit de producción para GLM-5.3-Flash (320B MoE) en 2x NVIDIA DGX Spark con 1M context window, EXL3 quantization y DFlash2 speculative decoding. Soluciona prefix-cache misses mediante parches específicos, logrando 97%+ hit rate y ~33 tok/s decode para prose.
Ficha actualizada 27 sept 2026, 13:07 · upstream 27 sept 2026, 12:39 · release v1.5.0
Qué es glm53-flash-exl3-2x-dgx-spark
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este repositorio proporciona un kit de despliegue en producción para GLM-5.3-Flash (320B MoE / 18B active) ejecutándose sobre dos nodos NVIDIA DGX Spark equipados con GB10 Grace Blackwell y 121 GiB de memoria unificada por nodo. La configuración soporta una ventana de contexto de 1,000,000 tokens mediante DFlash2 speculative decoding con TP=2 sobre enlace directo QSFP de 200Gb, configurado en modo loopback por defecto.
El kit aborda problemas críticos identificados en implementaciones anteriores del modelo GLM-5.3-Flash, específicamente prefix-cache misses y latencia de prefill que causaban tiempos de primer token de 80-160 segundos bajo tráfico agéntico real. Mediante parches específicos como overlay/patch_hybrid_prefix_hit.py y overlay/patch_apc_tail_boundary.py, se logra un hit rate del 97-98% con tamaño de página MNBT=3584 y retención sparse por grupo, mejorando significativamente la eficiencia del sistema.
La imagen de servicio se construye localmente mediante el Dockerfile incluido desde una base preview vLLM (vllm/vllm-openai:glm53-flash-arm64-cu130) con compilación de kernels EXL3 optimizados para aarch64/sm_121. El despliegue requiere validación de weights mediante download.sh, construcción de la imagen y uso de local/prod-start.sh en lugar de start.sh directo, con hardening específico como binding loopback hardcoded y gestión de KV pool pinned.
- Serving de modelos LLM de gran contexto (1M tokens) para aplicaciones agénticas que requieren baja latencia en prefill
- Generación estructurada de alto rendimiento con acceptance rate del 100% para prompts bien definidos
- Entornos multi-agente concurrentes con hasta 4 agentes in-flight sin preemptions
- Despliegue en hardware NVIDIA GB10 Grace Blackwell aprovechando kernels EXL3 y MoE optimizados
- Prefix caching del 97-98% mediante parches específicos para arquitectura híbrida KDA+MLA
- Decode de ~33 tok/s para prose natural y ~74 tok/s para structured prompts con acceptance 1.0000
- Coexistencia verificada de ventana de contexto de 1M tokens con speculative decoding activo
- Kernels EXL3 v1.4.9 compilados específicamente para aarch64/sm_121 en hardware GB10
- Gestión de KV slots compartidos que permite alcanzar la ventana de 1M sin colapsar el drafter
- Requiere construcción local del Dockerfile desde base preview vLLM con digest pinned, no usa imágenes oficiales estables
- Configuración específica para hardware NVIDIA DGX Spark GB10; no es portable a otros aceleradores sin ajustes
- Binding loopback hardcoded por defecto (0.0.0.0) que requiere verificación manual de red tras actualizaciones
- Dependencia de weights específicos en HuggingFace con revisiones pinned que pueden requerir validación manual
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Construir imagen localmente con docker build -t glm53-selfbuild . desde el Dockerfile. Ejecutar download.sh para validar weights (~164 GiB). Usar local/prod-start.sh nunca start.sh directo. Verificar binding de red con ss -ltn | grep 8000. Configurar GLM53_EXPOSE_CACHE_RESET=0 para clientes no confiables. Validar revisiones MODEL_REVISION explícitas sobre refs/main.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.