human-llm-gateway
Gateway auto-alojable que expone una API compatible con OpenAI/Anthropic, respondiendo peticiones mediante intervención humana directa o LLM upstream privados, manteniendo la identidad del modelo solicitado.
Ficha actualizada 22 sept 2026, 16:31 · upstream 22 sept 2026, 2:44 · release sin release detectada
Qué es human-llm-gateway
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Human LLM Gateway actúa como un punto de entrada seguro para modelos de lenguaje, permitiendo a los clientes utilizar SDKs estándar de OpenAI o Anthropic. La arquitectura permite 'mascarar' identidades de modelos (Fake Models) mientras el contenido real proviene de una persona en la consola web o de una LLM upstream privada configurada por el usuario.
El sistema implementa tres protocolos de respuesta: intervención humana directa, reenvío directo a una LLM upstream o un híbrido con fallback humano. La seguridad es prioritaria, con protección contra SSRF, encriptación de secretos usando HKDF y AES-256-GCM, y redacción de contexto sensible antes del envío.
La licencia AGPL-3.0 garantiza que las modificaciones distribuidas deben ofrecer el código fuente correspondiente. El proyecto se encuentra en estado beta invitación exclusiva, con una arquitectura monolítica diseñada para despliegues simples sin orquestadores complejos.
- Crear identidades falsas para modelos futuros (ej. gpt-5) respondidas manualmente por un equipo humano.
- Añadir identidad propia a respuestas de LLMs privados existentes sin exponer la fuente original al cliente.
- Supervisión humana en tiempo real sobre interacciones con IA antes de que el usuario final reciba la respuesta.
- Implementar control de calidad y redacción de borradores en consola web para respuestas generadas automáticamente.
- Integración con sistemas legacy vía API OpenAI/Anthropic sin necesidad de modificar los clientes existentes.
- Compatibilidad nativa completa con SDKs de OpenAI (Chat Completions, Responses) y Anthropic Messages.
- Encriptación robusta de secretos en reposo utilizando HKDF y AES-256-GCM.
- Protección activa contra SSRF y límites estrictos de tamaño de solicitud para mitigar ataques DoS.
- Consola web integrada para gestión de tareas, revisión de borradores y control de envío final.
- Passthrough seguro de llamadas a herramientas declaradas por el cliente sin ejecución automática del gateway.
- Despliegue monolítico sin soporte nativo para Docker o Compose según análisis técnico actual.
- Requiere compilación manual del frontend React antes de ejecutar el backend FastAPI.
- Arquitectura no escalable horizontalmente en un solo proceso sin reestructuración significativa.
- Estado Beta invitación exclusiva con funcionalidades limitadas a despliegues de instancia única.
- No soporta hot-reload del frontend en producción, requiriendo rebuild para cambios.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requiere Python 3.12 y Node.js 24. Compilar frontend con npm run build antes de iniciar uvicorn. Configurar APP_SECRET, ADMIN_USERNAME/PASSWORD y GATEWAY_PUBLIC_HOSTS en .env. Verificar probes /healthz y /readyz tras arranque. Mantener .env y logs fuera del control de versiones.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.