voidllm
VoidLLM es un proxy auto-alojado para LLMs con enfoque en privacidad, que actúa como puerta de entrada entre aplicaciones y proveedores (OpenAI, Anthropic, Ollama). Gestiona claves API, límites de tasa, presupuestos de tokens y carga equilibrada multi-proveedor sin almacenar contenido de prompts.
Ficha actualizada 26 sept 2026, 18:54 · upstream 26 sept 2026, 18:44 · release v0.0.25
Qué es voidllm
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
VoidLLM es un proxy compatible con la API OpenAI diseñado para equipos que requieren control estricto sobre su infraestructura de inteligencia artificial. Funciona como capa intermedia entre las aplicaciones y los proveedores de modelos, permitiendo la centralización del acceso, la gestión de claves virtuales con jerarquías RBAC (Organización > Equipo > Usuario) y el seguimiento detallado del uso sin comprometer la privacidad.
- Centralizar el acceso a múltiples proveedores de LLMs desde un único punto de control para aplicaciones internas.
- Cumplir con normativas de privacidad que prohíben el registro de prompts o respuestas en servidores externos.
- Optimizar costes mediante la asignación de presupuestos de tokens y detección de fugas de presupuesto por script.
- Gestionar múltiples proveedores (OpenAI, Azure, Ollama) mediante alias de modelo y balanceo de carga automático.
- Integrar herramientas MCP externas con control de acceso granular y gestión de sesiones automática.
- Auditar el uso de tokens y latencia por usuario o equipo sin exponer el contenido de las interacciones.
- Arquitectura zero-knowledge: no persiste ni almacena prompts ni respuestas, solo metadatos en la base de datos.
- Compatibilidad multi-proveedor nativa con balanceo de carga y failover automático entre instancias.
- Gestión granular de acceso mediante RBAC jerárquico (Org/Team/User) y claves API virtuales.
- Soporte para MCP Gateway con ejecución sandboxeada de código en WASM para orquestación de herramientas.
- Base de datos flexible: SQLite por defecto o PostgreSQL para entornos de producción escalables.
- Métricas Prometheus expuestas para monitorización de latencia, tokens y estado de las rutas.
- No soporta transporte SSE (Server-Sent Events) en servidores MCP externos; requiere HTTP streamable.
- Falta soporte para OAuth en servidores MCP externos que requieren autenticación por usuario (ej. Jira, Slack).
- El modo Code Mode con WASM opera en memoria y requiere instancia única sin Redis actualmente.
- No incluye logging de contenido a nivel de observabilidad; solo metadatos son rastreables.
- Licencia BSL 1.1: uso restringido para entornos comerciales o derivados sin pago.
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requiere 4 núcleos CPU y 8 GB RAM mínimo. Se despliega mediante Docker (puerto 8080) o binario Go directo. Generar claves de administración y cifrado con OpenSSL al inicio. Soporta Helm charts para Kubernetes. La base de datos puede ser SQLite local o PostgreSQL remoto. Para escalabilidad multi-nodo, se recomienda Redis para límites de tasa compartidos.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.