web-research
Plataforma auto-alojada de investigación web que unifica Firecrawl, SearXNG, Ollama y Playwright mediante interfaces REST y MCP estables, desacoplando clientes de backends específicos.
Ficha actualizada 24 sept 2026, 6:01 · upstream 24 sept 2026, 5:52 · release sin release detectada
Qué es web-research
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Web Research es una plataforma de investigación web auto-alojada diseñada para proporcionar un conjunto estable de interfaces REST y MCP para búsqueda, descubrimiento de sitios, scraping, crawling, extracción estructurada e interacción con el navegador. El proyecto combina servicios especializados en lugar de forzar a un único componente a realizar todas las funciones, manteniendo contratos de API consistentes independientemente de los backends subyacentes.
La arquitectura utiliza Firecrawl para capacidades de búsqueda, mapeo, scraping y crawling; un servicio dedicado FastAPI para extracción estructurada con validación de esquemas JSON contra Ollama; y Playwright para automatización de navegador con sesiones aisladas. La puerta de enlace unificada expone estas capacidades a través de REST en el puerto 8080 y MCP en el puerto 8081, permitiendo tanto llamadas directas como integración con agentes de IA.
El diseño sigue principios de reutilización de infraestructura existente (Ollama y SearXNG gestionados independientemente), aislamiento de sesiones del navegador con TTL, políticas SSRF por defecto para navegación segura, y validación estricta de esquemas JSON. Las imágenes Docker están fijadas a dígitos inmutables probados para garantizar despliegues reproducibles en entornos de producción.
- Investigación web estructurada con extracción de datos validada mediante esquemas JSON proporcionados por el cliente
- Automatización de flujos de trabajo complejos mediante MCP para agentes de IA que requieren navegación y extracción de contenido web
- Scraping y crawling de sitios web con renderizado completo y detección de elementos interactivos
- Interacción segura con elementos del navegador mediante Playwright con aislamiento por sesión y políticas SSRF
- Desarrollo de aplicaciones que requieren capacidades de investigación web sin acoplamiento directo a proveedores específicos
- Arquitectura modular que desacopla el cliente de los backends específicos (Firecrawl, Ollama, SearXNG)
- Soporte nativo para protocolos MCP (Model Context Protocol) además de interfaces REST tradicionales
- Validación estricta de esquemas JSON en extracciones estructuradas con retries acotados
- Aislamiento de sesiones del navegador con TTL y políticas SSRF por defecto que rechistan destinos privados
- Imágenes Docker fijadas a dígitos SHA256 inmutables para despliegues reproducibles y controlado
- Dependencia crítica de servicios externos (Ollama, SearXNG) que deben estar pre-configurados antes del inicio
- La interfaz web está en fase de refinamiento según el README oficial
- Requiere al menos 4 núcleos CPU y 8GB RAM para operación recomendada con PostgreSQL, Redis y RabbitMQ
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Verificar primero la disponibilidad de Ollama (puerto 11434) y SearXNG (puerto 8088) antes de iniciar. Generar clave API para GATEWAY_API_KEY en entornos LAN o públicos. Fijar dígitos SHA256 de imágenes Docker a versiones probadas, no usar latest. No exponer servicios privados al host. Usar modelo qwen2.5:14b para extracción estructurada con validación JSON.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.