brokoli
Brokoli es una plataforma de orquestación de pipelines de datos self-hosted, con editor visual, ejecución paralela en DAG, calidad de datos integrada, monitorización en tiempo real y SDK en Python. Requiere solo un binario (~30MB) para ejecutar sin infraestructura externa.
Ficha actualizada 22 sept 2026, 18:43 · upstream 22 sept 2026, 18:11 · release v0.11.32
Qué es brokoli
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Brokoli es una plataforma de orquestación de pipelines de datos open-source que permite construir, ejecutar y explicar los flujos de datos. Su principal característica es el ciclo operativo completo: definir un pipeline, ejecutarlo, visualizar el plan físico y las evidencias del resultado, y rastrear qué datos fueron afectados. Se puede ejecutar localmente en cualquier máquina Linux o macOS sin infraestructura externa, y se escala manteniendo la misma configuración. El proyecto está diseñado para ser simple de usar pero potente, con un editor visual que reduce la curva de aprendizaje.
- Orquestar pipelines ETL/ELT simples (ingesta → transformación → salida) sin necesidad de orquestadores como Airflow o Luigi
- Automatizar flujos de datos entre servicios internos con dependencias condicionales y reintentos automáticos
- Implementar calidad de datos en producción con reglas de validación, detección de drift de esquema y verificación de frescura
- Crear pipelines escalables que se ejecutan en paralelo con backoff exponencial tras fallos individuales
- Documentar el flujo de datos mediante visualización del plan físico, evidencias de ejecución y trazabilidad completa
- Integración con herramientas existentes como GitHub Actions, dbt o Kafka a través de triggers HTTP
- Un solo binario (~30 MB) que funciona en cualquier máquina Linux/macOS sin dependencias externas ni Docker
- Editor visual completo con drag-and-drop, zoom/pan, preview en tiempo real y import/export YAML
- Detección automática de calidad de datos con 10 reglas (no_null, unique, min/max, range, regex, row_count, type_check, freshness, no_blank)
- Ejecución paralela basada en Kahn's algorithm con reintentos por nodo y backoff exponencial
- Plan físico explícito que permite entender exactamente qué se está ejecutando en cada momento
- Encriptación AES-256-GCM para datos sensibles y soporte de múltiples tipos de conexión (Postgres, MySQL, SQLite, HTTP, SFTP, S3)
- Funciona mejor con pipelines de bajo a medio volumen; los flujos masivos pueden requerir optimizaciones adicionales
- La calidad de datos se verifica en cada ejecución individual y no ofrece un monitorización centralizada global
- El plan físico es visible durante la ejecución pero no persiste como documentación formal del pipeline
- No incluye capacidades de orquestación a gran escala (múltiples clusters, migraciones entre bases de datos)
- La calidad de datos se verifica en cada nodo individual y no hay un nivel de validación global del pipeline completo
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Instala el binario directamente con curl o descarga la versión compilada. Configura la base de datos mediante variables de entorno (SQLite por defecto) o conexión string PostgreSQL. Activa autenticación con API key si se requiere. Para producción, considera usar Brokoli Cloud para añadir gestión de equipos, auditoría y Kubernetes. El servicio predeterminado ejecuta en modo local; para producción se recomienda desplegar desde un contenedor Docker o con una imagen precompilada.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.