groktocrawl
Plataforma autoalojada compatible con la API Firecrawl v2 para scraping, agentes de investigación y búsqueda semántica. Despliegue único con Docker Compose usando FastAPI, Next.js y Redis.
Ficha actualizada 28 sept 2026, 3:44 · upstream 28 sept 2026, 3:32 · release v0.14.0
Qué es groktocrawl
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
GroktoCrawl es una plataforma de datos web autoalojada bajo licencia MIT que ofrece una superficie de API compatible con Firecrawl v2. Combina capacidades de scraping, rastreo (crawl), búsqueda semántica, extracción estructurada y automatización de navegador en un único despliegue Docker. Incluye un endpoint para agentes autónomos y un servidor MCP para integraciones externas.
- Scraping web a texto o JSON estructurado con recuperación de contenido de tarjetas (card-style).
- Investigación autónoma con agentes que generan planes, citas y memoria reutilizable.
- Búsqueda semántica e indexación vectorial para retrieval de información contextual.
- Integración con Model Context Protocol (MCP) para herramientas externas como SlopSearX.
- Monitoreo continuo de sitios web con alertas vía webhooks y métricas Prometheus.
- Extracción de datos de adaptadores específicos como GitHub, YouTube o fuentes de seguridad.
- API compatible con Firecrawl v2 para migración sencilla desde soluciones existentes.
- Despliegue simplificado mediante un único archivo docker-compose.yml con perfiles (fixture/production).
- Soporte nativo para agentes de investigación autónoma y generación de llms.txt.
- Adaptadores preconfigurados para sitios como GitHub, YouTube, Bluesky y fuentes de seguridad.
- Gestión de sesiones de navegador y detección de desafíos tipo bot (ej. Fastly JS).
- Backend de vectores con Qdrant/Valkey para búsqueda semántica robusta.
- Los trabajos asíncronos no son restart-safe: una caída del servicio no reanuda tareas en curso ni replay webhooks.
- Requiere configuración manual de credenciales externas (LLM, Brave) para producción funcional.
- La seguridad emite advertencias X-Security-Warning si se omite la autenticación API_KEY.
- El soporte de CI autoalojado tiene riesgos residuales en forks sin protección de rama completa.
- Los timeouts de LLM y Qdrant deben ajustarse manualmente según el modelo y latencia.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Usar perfil fixture solo para pruebas locales. En producción, omitir fixture y configurar LLM_BASE_URL, BRAVE_API_KEY y API_KEY en .env. Restringir exposición de la API a redes confiables. Tras reinicio del agente-svc, reconciliar jobs atascados en estado processing consultando la documentación de recuperación.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.