crawl4ai
Crawl4AI es un crawler web open-source para LLMs que convierte cualquier sitio web en Markdown limpio listo para RAG, agentes AI y pipelines de datos. Soporta despliegue local (pip/Docker) o cloud con API.
Ficha actualizada 10 nov 2026, 12:30 · upstream 10 nov 2026, 12:30 · release v0.9.5
Qué es crawl4ai
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Crawl4AI transforma sitios web en Markdown estructurado optimizado para modelos de lenguaje grandes. La herramienta ofrece dos modos de uso: ejecutarlo localmente como librería Python gratuita, o utilizar Crawl4AI Cloud con autenticación por clave. El despliegue local permite control total sobre proxies, cookies y configuraciones del navegador.
La arquitectura soporta múltiples estrategias de extracción: CSS/XPath sin LLM, generación de esquemas reutilizables, y conectores para cualquier proveedor de LLM. Incluye capacidades avanzadas como crawling adaptativo, recuperación de estado en crawls largos, y descubrimiento automático de URLs mediante sitemaps.
El soporte Docker incluye imágenes AMD64 y ARM64 con API REST completa, dashboard de monitoreo y playground interactivo. La versión cloud elimina la necesidad de gestionar navegadores locales, proxies o detección de automatización.
- Preparación de datos para RAG: extraer contenido web estructurado en Markdown con citas numéricas y filtrado de boilerplate
- Extracción estructurada sin LLM: usar JsonCssExtractionStrategy o JsonXPathExtractionStrategy para obtener JSON directamente
- Crawling profundo con recuperación de estado: crawls BFS/DFS con resume_state para proyectos a gran escala
- Integración con agentes AI vía MCP: conexión directa con Claude Code, Codex, Cursor u OpenCode
- Automatización de scraping multi-página: arun_many con dispatcher adaptativo a la memoria disponible
- Output Markdown limpio con headings, tablas, bloques de código y hints de citas para LLMs
- Soporte nativo para Chromium, Firefox y WebKit con stealth mode y detección de automatización
- Caching integrado que evita fetches repetidos y reduce latencia en crawls recurrentes
- API REST completa con endpoints /md, /html, /crawl, /screenshot, /pdf y /execute_js
- Adaptabilidad: AdaptiveCrawler detiene el crawl cuando ha aprendido suficiente para responder la consulta
- Requiere configuración manual del navegador en despliegue local (crawl4ai-setup o playwright install)
- La versión cloud tiene límite de 50 URLs por llamada streaming o 10.000 en jobs de fondo
- Algunas estrategias avanzadas como CosineStrategy requieren dependencias adicionales no incluidas en pip core
- Web search y answer endpoints solo disponibles en Crawl4AI Cloud, no en despliegue self-hosted
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Pendiente de la cola editorial R11-R6 con investigación verificable.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.