xeno-rt
xeno-rt es un runtime en Rust para inferencia local de LLMs con soporte CPU/CUDA y API OpenAI compatible.
Ficha actualizada 23 sept 2026, 14:38 · upstream 23 sept 2026, 14:24 · release v0.2.0
Qué es xeno-rt
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
xeno-rt es el runtime unificado, sin interfaz gráfica (headless) de Rust de XENO para alojar, exponer y ejecutar modelos locales de IA. Sus dominios de capacidad son xrt-text, xrt-image, xrt-video y xrt-audio, basados en formatos compartidos, kernels, gestión de recursos CPU/CUDA, caché de modelos, telemetría, CLI y APIs HTTP estables.
v0.2.0 es el primer checkpoint estable del repositorio. La ejecución por CPU es la ruta predeterminada soportada; CUDA es un runtime nativo beta que no es un wrapper sobre otro motor de inferencia. El checkpoint actual se enfoca en texto, y el código nativo para xrt-image está presente pero aún experimental.
Los modelos GGUF pueden ejecutarse por CPU o CUDA según la configuración del build. La API OpenAI compatible soporta completions, chat completions, streaming y descubrimiento de modelos.
- Ejecución local de LLMs con inferencia en GPU para aplicaciones que requieren privacidad y control total sobre los datos
- Servicios de chat o generación de texto que no pueden depender de servicios externos como OpenAI o Azure
- Entornos de desarrollo personal donde se requiere reproducibilidad y control total sobre el entorno de ejecución
- Aplicaciones de inferencia multimodal (texto + imagen) que necesitan ejecutar modelos GGUF directamente sin dependencias externas
- Entornos con restricciones de red o ancho de banda, ya que la inferencia local reduce la latencia en comparación con llamadas API externas
- Proyectos de investigación y prototipado donde se necesita un runtime flexible y adaptable a diferentes arquitecturas GPU
- Soporte nativo por CPU sin necesidad de instalar CUDA, lo que reduce la complejidad inicial para usuarios no especializados
- Ejecución en GPU mediante kernels CUDA con soporte para caché de KV y graph computation, permitiendo escalabilidad en modelos grandes
- API OpenAI compatible (v1) que permite integrar xeno-rt directamente en aplicaciones existentes sin modificar el código del cliente
- Soporte por GGUF como formato estándar, junto con Hugging Face SafeTensors para modelos de Qwen y otros
- Control de recursos mediante paged KV modes, prefix caching y scheduling limitado para optimizar rendimiento en entornos limitados
- Soporte experimental para generación e edición de imágenes nativas sin necesidad de Python o frameworks como ComfyUI
- La inferencia por CUDA es beta y no garantiza compatibilidad con todas las arquitecturas NVIDIA; se requiere un driver compatible (sm_70+ PTX)
- El soporte para xrt-image generativo aún está en desarrollo y no ofrece garantías de producción
- La ejecución por CPU puede ser limitada en modelos grandes que requieren GPU, aunque el build predeterminado es CPU-only
- No hay soporte nativo para audio o video como se anuncia en los dominios de capacidad
- El runtime no soporta inferencia de modelos GGUF con cuantización a 8-bit (FP16) ni FP32
- La API OpenAI compatible tiene límites en el número de tokens por solicitud y no incluye todas las funcionalidades del modelo original
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Para ejecutar xeno-rt, instale Rust 1.76+ con cargo. Construya la versión portable CPU con `cargo build --release --locked -p xrt-cli -p xrt-server`. Para CUDA, incluya el flag `--features cuda` y asegúrese de tener un GPU compatible (NVIDIA sm_70+) y un driver adecuado. Los modelos GGUF se descargan desde Hugging Face con `cargo run --release --locked -p xrt-cli -- download --repo Qwen/Qwen3-0.6B-GGUF --quantization Q4_K_M`. Para producción, considere usar un contenedor Docker o una imagen de Rust para encapsular el runtime y evitar dependencias externas no necesarias.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.