unswarm
Plataforma auto-hospedada para gestión de infraestructura de inferencia LLM en múltiples máquinas. Controla agentes remotos, orquesta contenedores Docker con servidores de modelos y enruta solicitudes OpenAI compatibles desde un único dashboard.
Ficha actualizada 25 sept 2026, 23:36 · upstream 25 sept 2026, 23:30 · release sin release detectada
Qué es unswarm
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Unswarm es una plataforma de control plane auto-hospedada diseñada para gestionar infraestructura de inferencia de LLMs distribuida a través de múltiples máquinas. Permite registrar agentes remotos, orquestar contenedores Docker que ejecutan servidores de modelos (llama.cpp, vLLM, etc.), enrutar solicitudes compatibles con OpenAI y monitorear el swarm desde un único panel de control.
La arquitectura separa el plano de control del plano de datos de inferencia: el backend (.NET 10) gestiona la lógica de programación mientras los agentes Go en cada máquina remota administran sus contenedores locales Docker. Los clientes envían solicitudes a través del backend que las proxia al agente y contenedor correspondiente, manteniendo una API unificada.
El sistema implementa características avanzadas como grupos de modelos (exclusivos o co-localizados), afinidad de conversación para evitar thrashing entre llamadas de herramientas, colas de inferencia acotadas y soporte para proveedores cloud junto con runtimes auto-hospedados en el mismo endpoint /v1.
- Gestión de múltiples modelos LLM con VRAM limitada mediante switching automático
- Multi-agentic workflows donde diferentes agentes usan distintos modelos a través de una única API
- Benchmarking y comparación de rendimiento entre modelos con prompts guardados
- Redundancia de proveedores combinando endpoints locales y cloud en perfiles de router
- Monitorización en tiempo real de GPU, CPU y RAM del swarm
- Switching automático de modelos sin exponer agentes directamente a clientes
- Afinidad de conversación que mantiene runtime reservado entre llamadas de herramientas
- Soporte para grupos de modelos exclusivos y co-localizados según hardware
- Métricas en vivo de utilización GPU (NVIDIA, AMD, Intel) y CPU/RAM
- API unificada OpenAI-compatible para todos los modelos del swarm
- Latencia inicial elevada al cargar modelos por primera vez (segundos a minutos)
- No apto para alto throughput concurrente a un único modelo
- Requiere Docker Engine instalado en cada agente remoto
- Conversación affinity deshabilitada por defecto, requiere configuración manual
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requiere .NET 10 backend y Go agents. Usa SQLite como base de datos. Soporta despliegue con Docker Compose. Necesita 4 núcleos CPU, 8GB RAM mínimo. Habilitar conversation affinity en Settings → Scheduler si se usan tool calls frecuentes. Verificar compatibilidad GPU del driver antes de cargar modelos grandes.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.