nano-llm-proxy
nano-llm-proxy es una puerta de enlace LLM minimalista en Go con GUI integrada, diseñada para unificar múltiples proveedores bajo un único endpoint compatible con OpenAI/Anthropic. Su valor reside en el despliegue sin contenedores ni dependencias externas complejas, utilizando únicamente un binario
Ficha actualizada 27 sept 2026, 10:05 · upstream 27 sept 2026, 9:50 · release sin release detectada
Qué es nano-llm-proxy
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
nano-llm-proxy es una puerta de enlace LLM minimalista escrita en Go que agrupa múltiples proveedores de modelos bajo un único endpoint compatible con OpenAI y Anthropic. Su arquitectura se basa en un binario estático (~24 MB) y una base de datos SQLite, eliminando la necesidad de contenedores, runtime externos o bases de datos relacionales complejas. Incluye una GUI web integrada para gestión de usuarios, claves API y monitoreo de uso.
El sistema implementa rotación inteligente de claves con modos 'priority' (afinidad a caché) y 'lru' (distribución de carga), blacklisting automático por autenticación fallida y cooldowns por límites de tasa. Soporta protocolos OpenAI Chat, Responses y Anthropic Messages, además de herramientas MCP autohospedadas para búsqueda web sin costes adicionales.
A diferencia de soluciones como LiteLLM o Bifrost, nano-llm-proxy prioriza la simplicidad operativa sobre el catálogo masivo de modelos. Está ideal para entornos con restricciones de infraestructura (VPS baratos, NAS, laptops) donde Docker no es viable, ofreciendo multiusuario nativo y revocación de acceso sin licencias comerciales.
- Unificar acceso a múltiples LLMs desde scripts o IDEs sin exponer múltiples claves API
- Implementar gateways en entornos restringidos (VPS baratos, NAS, laptops) donde Docker no es viable
- Gestionar cuotas y límites de tasa distribuyendo carga entre claves de proveedores distintos
- Proporcionar herramientas MCP integradas para búsqueda web sin APIs pagas
- Binario estático Go (~24 MB) con GUI integrada React, sin contenedores ni runtime externos
- Soporte nativo multiusuario con roles, revocación de acceso y gestión de claves por usuario
- Rotación automática de claves con blacklisting por autenticación fallida y cooldowns por límites de tasa
- Herramientas MCP integradas (web_search, web_read) sin costes adicionales ni APIs pagas
- Catálogo de modelos autoactualizado con metadatos completos (ventana de contexto, modalidades)
- Soporte nativo para Claude Code con fallback configurable y manejo de contextos
- Ausencia de soporte nativo para Gemini, Images, Embeddings o Rerank
- Falta de caché semántico o compresión de prompts (funcionalidad presente en Bifrost)
- Arquitectura monolítica que impide clústerización detrás de load balancers
- Almacenamiento reversible de claves upstream en SQLite (requiere cifrado manual)
- Catálogo limitado a 10 presets más URLs compatibles, sin soporte para miles de modelos
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Ejecutar `sudo ./deploy.sh` para instalar la unidad systemd hardening. Configurar permisos 0600 en el archivo SQLite para proteger las claves. Usar variables de entorno solo para credenciales de superadmin (no necesarias tras el primer inicio). Evitar exponer la instancia a redes públicas sin autenticación robusta.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.