dgx-spark-llm-platform
Plataforma LLM auto-alojada en DGX Spark con API OpenAI compatible, autenticación por clave por usuario y presupuesto por token.
Ficha actualizada 22 sept 2026, 20:51 · upstream 22 sept 2026, 20:45 · release sin release detectada
Qué es dgx-spark-llm-platform
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Cronos es una plataforma de inferencia de lenguaje artificial (LLM) auto-alojada que corre sobre un solo nodo NVIDIA DGX Spark (GB10 Grace Blackwell, 128 GB de memoria unificada, arquitectura aarch64). Transforma una sola caja en un servicio multiusuario con API compatible OpenAI, claves individuales por usuario y presupuestos por token. Incluye un portal web propio para el usuario final, asistente de soporte IA integrado, gestión de usuarios y administración, así como un motor de ejecución que controla la inferencia del modelo principal.
- Servicio de chat con presupuesto de tokens por usuario
- Portal web para usuarios que buscan modelos y generan contenido
- Asistente de soporte IA que puede crear claves o solicitar recursos
- Gestión centralizada de múltiples cuentas con roles diferenciados
- Generación de imágenes, audio y video a través de motores integrados
- Detección de texto (OCR) en tiempo real para aplicaciones web
- API OpenAI compatible mediante LiteLLM con autenticación por clave por usuario y presupuesto por token
- Modelo 'auto-model' que siempre redirige a cualquier modelo cargado, eliminando la necesidad de editar configuraciones del cliente
- Portal web completo con playground en navegador para probar modelos sin servidor
- Asistente de soporte IA (Cronos) capaz de realizar acciones como crear claves o solicitar presupuesto
- Ejecución dinámica de un solo modelo por GPU con auto-resume tras reinicios, manteniendo los sidecars de medios activos
- Soporte para múltiples motores de inferencia (vLLM, llama.cpp, ds4 engine) mediante configuración del usuario
- El presupuesto por token se aplica a cada modelo individualmente; no hay un límite global compartido entre modelos
- La memoria unificada de 128 GB es compartida entre todos los sidecars y el motor principal, lo que puede causar cuellos de botella si múltiples servicios consumen GPU simultáneamente
- El sistema depende de LDAP o SSO externo (Authentik) para la autenticación; no soporta autenticación local sin un servidor de identidad
- La API pública está alojada en un dominio separado y requiere configuración adicional de certificados SSL
- Los sidecars de medios (OCR, voz, imagen) corren en contenedores separados con sus propias redes Docker, lo que limita la escalabilidad horizontal del backend
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Se recomienda desplegar el frontend y backend en contenedores Docker usando docker-compose para facilitar la gestión de dependencias,El entorno de producción debe configurarse con HTTPS (Traefik) para proteger las API endpoints sensibles como LiteLLM y el portal,La autenticación LDAP/SSO requiere un servidor externo funcional; se recomienda configurar Authentik en modo production,Se debe establecer un firewall que permita solo la comunicación interna entre los contenedores del mismo namespace Docker,Para optimizar el uso de memoria, se recomienda limitar el número concurrente de modelos activos por GPU mediante configuraciones de vLLM o llama.cpp,El sistema está diseñado para ser escalable horizontalmente: nuevos usuarios pueden registrarse sin afectar a los existentes, siempre que se respeten los límites de presupuesto y tokens,Se debe documentar la política de uso del presupuesto por t
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.