Future AGI
Plataforma open-source todo-en-uno para evaluación, observabilidad y mejora de aplicaciones de agentes LLM
Future AGI es una plataforma open-source completa diseñada específicamente para evaluar, observar y mejorar aplicaciones de agentes LLM e inteligencia artificial. Colapsa todas las herramientas esenciales en una sola plataforma con un único bucle de retroalimentación: simula casos límite antes del lanzamiento, evalúa lo que ocurre en producción, protege usuarios en tiempo real y convierte cada rastro en señal para la siguiente versión. El resultado son agentes que no solo se monitorean, sino que mejoran automáticamente.
La plataforma está construida con licencia Apache 2.0, permitiendo inspección completa de cada evaluador, prompt y trace — sin scoring black-box. Es self-hostable para soberanía de datos o puede usarse como servicio gestionado en la nube.
¿Para quién está diseñado?
- Equipos de ML/AI: Desarrolladores que construyen agentes LLM y necesitan evaluación continua
- Empresas enterprise: Organizaciones que requieren soberanía de datos y control sobre su stack tecnológico
- Startups: Equipos que necesitan moverse rápido manteniendo seguridad desde el inicio
- Investigadores: Científicos que estudian comportamiento de agentes AI y necesitan observabilidad detallada
Casos de uso principales
Evaluación continua: Medir calidad de respuestas de agentes en producción con 50+ métricas incluyendo groundedness, detección de alucinaciones, correctness de tool-use, PII detection, tone analysis y rubrics personalizadas.
Simulación pre-lanzamiento: Ejecutar miles de conversaciones multi-turno contra perfiles sintéticos, inputs adversariales y casos límite antes de desplegar en producción. Soporta tanto texto como voz (LiveKit, VAPI, Retell, Pipecat).
Protección en tiempo real: 18 escáneres integrados para PII, jailbreak detection, prompt injection blocking y content moderation con 15 adaptadores de proveedores (Lakera, Presidio, Llama Guard).
Observabilidad vendor-neutral: OpenTelemetry-native tracing para 69 Python, 62 TypeScript y 23 Java frameworks instrumentados automáticamente sin cambios en el código.
Gateway unificado: Agent Command Center actúa como gateway Go-based con ~9.9 ns weighted routing, ~29 k req/s en t3.xlarge, P99 ≤ 21 ms con guardrails activos. Soporta 100+ proveedores LLM con routing inteligente, failover automático y caching.
Optimización automática: Mejora continua con reinforcement learning basado en datos de producción y feedback humano.
Características principales
🧪 Simulaciones
Miles de conversaciones multi-turno contra perfiles sintéticos, inputs adversariales y casos límite. Soporta texto y voz (LiveKit, VAPI, Retell, Pipecat). Documentación: Simulaciones.
📊 Evaluaciones
50+ métricas bajo una sola llamada evaluate(): groundedness, hallucination, tool-use correctness, PII, tone, custom rubrics. LLM-as-judge + heuristic + ML. Documentación: Evaluaciones.
🛡️ Protección
18 escáneres integrados (PII, jailbreak, injection) + 15 adaptadores de proveedores (Lakera, Presidio, Llama Guard). Inline en gateway o SDK independiente. Documentación: Protección.
👁️ Observabilidad
OpenTelemetry-native para vendor-neutral, high-performance tracing de aplicaciones AI. 69 Python, 62 TypeScript y 23 Java frameworks instrumentados automáticamente. Documentación: Auto-instrumentación.
🎛️ Agent Command Center
Gateway unificado para 100+ proveedores LLM con guardrails, routing inteligente, caching, cost controls y observabilidad completa. Benchmarks: ~9.9 ns weighted routing, ~29 k req/s en t3.xlarge, P99 ≤ 21 ms con guardrails activos.
🔁 Optimización
Mejora continua con reinforcement learning. Mejora automática basada en datos de producción y feedback humano.
Arquitectura técnica
La arquitectura de Future AGI sigue un modelo cliente-servidor bien definido:
- Client SDKs: Bibliotecas para Python (
fi-instrumentation-otel), TypeScript (@traceai/fi-core) y MCP Server para interacción vía Model Context Protocol desde Claude, Cursor o VS Code. - traceAI: Paquete open-source para tracing estandarizado basado en OpenTelemetry con instrumentores específicos por framework.
- Agent Command Center: Gateway Go-based que actúa como punto de entrada unificado para todas las solicitudes LLM.
- Django platform: Backend Python que maneja la lógica de negocio, evaluaciones y gestión de datos.
- Datastores: PostgreSQL (datos relacionales), ClickHouse (análisis), Redis (caché), MinIO (object storage), Temporal (workflows), Kafka (messaging), PeerDB (CDC).
Despliegue
Docker Compose (Standalone)
- Requisitos: Docker Engine 24.0+, Docker Compose v2.24+, Git
- Hardware: 2 vCPUs, 4 GB memoria Docker (3 GB mínimo), 10 GB disco libre
- Instalación:
git clone https://github.com/future-agi/future-agi.git && cd future-agi && ./bin/install - Ports: 3000 (UI), 8000 (API), 8090 (Gateway), 4317/4318 (OTLP)
Docker Compose (Distributed)
- Hardware: 4+ vCPUs, 12-16 GB memoria Docker (6 GB mínimo), 20 GB disco
- Servicios: 21 servicios con PeerDB, Kafka, Temporal, ClickHouse, MinIO
Helm (Kubernetes)
- Requisitos: Kubernetes 1.27+, Helm 3.10+
- Evaluación: ~4 CPUs y 8 GiB libres
Plataformas compatibles
- Linux VM o bare metal (EC2, GCE, Azure VMs)
- macOS con Docker Desktop, Colima o OrbStack
- Windows con Docker Desktop (WSL 2)
- Kubernetes: EKS, GKE, AKS, OpenShift, k3s, kind
Integraciones
79+ frameworks instrumentados: OpenAI, Anthropic, AWS Bedrock, Vertex AI, Google GenAI, Groq, MistralAI, Together AI, Ollama, Portkey, LangChain, LangGraph, LlamaIndex, LiteLLM, CrewAI, AutoGen, Haystack, DSPy y más.
20+ proveedores LLM: API compatible OpenAI con routing inteligente, failover automático y caching.
Bases de datos vectoriales: Soporte para todas las principales bases de datos vectoriales.
SDKs
- Python:
pip install fi-instrumentation-otel - TypeScript:
npm install @traceai/fi-core - MCP Server: Interact con la plataforma vía Model Context Protocol desde Claude, Cursor o VS Code
Seguridad
- Licencia Apache 2.0 (core open-source)
- 18 escáneres de guardrails integrados
- PII detection, prompt injection blocking, content moderation
- Secrets management vía .env con Mailgun o Django admin
Limitaciones conocidas
- Nightly release para testing temprano (versión estable próximamente)
- Switching entre Standalone y Distributed no es soportado sin re-descarga de imágenes
- Privileged containers necesarios solo para code-executor y sandbox profiles
Alternativas reales
Combinaciones multi-herramienta: Langfuse + Braintrust + Helicone + Guardrails AI + simulador custom. Future AGI colapsa todo en una sola plataforma con feedback loop automático.
Preguntas frecuentes
¿Es open-source?
Sí, núcleo Apache 2.0. Cada evaluator, prompt y trace es inspectable — sin scoring black-box.
¿Puedo self-host?
Sí, con Docker Compose o Helm en Kubernetes. También disponible Cloud free.
¿Cuántos frameworks soporta?
79+ frameworks instrumentados automáticamente: Python, TypeScript, Java con 69/62/23 instrumentores respectivamente.
¿Qué es el Agent Command Center?
Gateway unificado para 100+ proveedores LLM con guardrails, routing inteligente, caching, cost controls y observabilidad completa.
¿Cómo funciona el feedback loop?
Simula → Evalúa → Protege → Monitorea → Optimiza. Cada rastro se convierte en señal para la siguiente versión.