datasteward
DataSteward es una plataforma de datos gobernada, autocontenida y con IA-agent nativa, que incluye ontología, controles de políticas, trazabilidad y escrituras auditables.
Ficha actualizada 23 sept 2026, 9:37 · upstream 23 sept 2026, 9:14 · release sin release detectada
Qué es datasteward
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
DataSteward es una implementación referencial completa y ejecutable de una plataforma gobernada de datos estilo Foundry. Cada consulta que realiza un agente se pasa por un núcleo de gobernanza: una ontología que define el significado del dato, control de acceso basado en propósito con marcadores que se propagan a lo largo de la línea de trazabilidad, un registro completo y inmutable de auditoría (quién vio qué y por qué), y escrituras que requieren aprobación humana y pueden revertirse. Detrás de esto hay una capa de datos real de diez capas: ingestión CDC, almacén de datos, modelado con dbt, capa métrica, orquestación, canales de comunicación, superficies de gobernanza (catálogo, trazabilidad), agente autoconstruido en LangGraph, y el núcleo gobernante que todos los componentes deben pasar por.
- Gestionar permisos granulares sobre datos sensibles con marcadores que se propagan a través del modelo de datos
- Trazabilidad completa de consultas: registrar quién consultó qué, cuándo y por qué
- Control de acceso basado en roles (RBAC) con verificación de permisos antes de ejecutar cualquier consulta
- Auditoría inmutable de decisiones empresariales que requieren aprobación humana
- Gestión de datos sensibles mediante ocultamiento automático según el contexto del usuario
- Integración segura entre agentes autónomos y sistemas externos a través de un núcleo gobernante común
- Implementa gobernanza en capas: desde la capa de ingestión hasta la capa de agente, con control de acceso independiente del tipo de consulta
- Propagación de marcadores (PII, FIN, U8) a lo largo de toda la línea de trazabilidad mediante dbt y pgvector
- Auditoría completa en tiempo real que registra cada llamada al kernel gobernante con contexto completo
- Escrituras revertibles con registro de proveniencia: se puede ejecutar una acción y luego revertirla con auditoría
- Soporte para múltiples fuentes de datos (Postgres, SQL Server, Flink CDC) con control de acceso unificado
- Demo dataset determinista en lenguaje chino que permite reproducir exactamente cada comportamiento gobernante
- La demo dataset es ficticia y está diseñada para entornos de desarrollo; no sustituye datos reales empresariales
- El modelo de gobernanza se basa en una capa centralizada del kernel, lo que puede escalar desproporcionadamente con sistemas distribuidos complejos
- La propagación de marcadores depende de la implementación de dbt y pgvector; no todos los motores de base de datos soportan esto nativamente
- El agente debe ser construido manualmente (LangGraph) y requiere conocimientos avanzados de ingeniería de software
- No incluye capacidades de aprendizaje automático para mejorar las decisiones gobernantes a largo plazo
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requisitos mínimos: Docker Compose v2, 16 GB RAM y un entorno con Python 3.10+. Para la demo rápida, se ejecuta `bash deploy/quickstart.sh` que genera el entorno de infraestructura, inyecta datos sintéticos y configura los conectores. Se recomienda ejecutar en una máquina virtual o WSL para evitar conflictos de red. Las variables de entorno clave son DM_LLM_API_KEY (para la API de LLM) y DM_PORT_* (para remapear las portadas internas). Para producción, se debe migrar a un contenedorizado completo con Kubernetes, usar el perfil 'app' para el despliegue de Streamlit y Dagster, y habilitar el perfil 'ollama' si se requiere inferencia local. Se recomienda implementar el perfil 'sim-u8' en entornos reales que requieran extracción de datos de SQL Server.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.