omnifeed
Omnifeed es un motor de búsqueda y scraping web autoalojado basado en Go, Crawl4AI y SearXNG. Proporciona acceso a contenido web mediante MCP, con soporte nativo para Reddit sin API keys usando un navegador headless real, además de motores para Hacker News, GitHub y más.
Ficha actualizada 25 sept 2026, 16:59 · upstream 25 sept 2026, 16:52 · release v0.29.0
Qué es omnifeed
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Omnifeed es una herramienta open source diseñada para agentes de IA que requieren investigación web completa (búsqueda → URLs → contenido). Se basa en Crawl4AI para el scraping genérico y SearXNG para la búsqueda, todo desplegado localmente sin depender de APIs cloud costosas. Su arquitectura incluye un registro de motores que enruta las solicitudes a servicios especializados: un motor dedicado a Reddit que devuelve árboles de comentarios completos en formato TOON (eficiente en tokens), y otros para Hacker News, GitHub Issues, Bluesky y Discourse.
La herramienta soporta el protocolo MCP tanto vía HTTP como mediante Stdio, integrándose con Open WebUI y clientes como Claude Code o Cursor. Incluye gestión de autenticación opcional mediante tokens Bearer y limitadores de tasa compartidos en Redis para despliegues multi-replica, evitando que múltiples instancias sobrecarguen los motores de búsqueda externos.
El sistema está optimizado para evitar bloqueos anti-bot en sitios como Reddit utilizando un navegador headless real sin credenciales, aunque esto requiere una IP residencial para funcionar correctamente. La configuración es sencilla mediante variables de entorno OMNIFEED_ y soporta despliegue nativo en Apple Silicon o contenedores Docker estándar.
- Integración con Open WebUI como motor de búsqueda externo para RAG
- Extracción de árboles completos de comentarios de Reddit sin necesidad de API keys
- Búsqueda web anónima y privada en entornos corporativos o locales
- Alimentación de agentes MCP con datos estructurados de GitHub Issues o Hacker News
- Scraping genérico de cualquier URL mediante Crawl4AI para análisis de contenido
- Formato TOON nativo para Reddit, reduciendo tokens en un 40% respecto a JSON
- Funcionamiento sin API key de Reddit usando navegador headless real
- Soporte completo para protocolo MCP (HTTP y Stdio)
- Integración directa con SearXNG para búsqueda multi-motor
- Gestión de límites de tasa en Redis para despliegues escalables
- El motor de Reddit requiere IP residencial; las IPs de datacenter suelen recibir bloqueos 403
- Dependencia externa de SearXNG para la funcionalidad de búsqueda web
- Requiere Redis para compartir estado en despliegues multi-replica
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Desplegar con docker compose up. Configurar OMNIFEED_API_KEY si se requiere autenticación y OMNIFEED_REDIS_URL para múltiples réplicas. Asegurar que el puerto 8081 esté abierto para MCP HTTP. Para Apple Silicon, usar la imagen nativa o Docker.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.