siftdog
Siftdog es una alternativa open-source auto-alojada a Tavily que proporciona API de búsqueda web, extracción y crawling para agentes de IA. Utiliza SearXNG como motor de metabúsqueda, trafilatura para extracción de contenido y BM25 para ranking.
Ficha actualizada 28 sept 2026, 13:48 · upstream 28 sept 2026, 13:44 · release v0.2.1
Qué es siftdog
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Siftdog es una solución open-source diseñada para funcionar como alternativa auto-alojada a la API comercial Tavily. Proporciona cuatro endpoints principales: búsqueda web, extracción de contenido limpio, crawling de sitios y mapeo de URLs. La arquitectura utiliza SearXNG como motor de metabúsqueda que consulta múltiples motores públicos (Brave, DuckDuckGo, Google), trafilatura para extraer contenido limpio en formato markdown o texto, y BM25 para ranking de relevancia.
El proyecto está implementado con Python 3.11+ utilizando FastAPI como framework principal, con componentes en Rust para mejor rendimiento. Incluye soporte nativo para Model Context Protocol (MCP) que permite integración directa con Claude Code, Cursor y otros clientes MCP. La licencia MIT permite uso libre y modificación del código fuente.
La solución está diseñada específicamente para equipos que desean mantener control sobre su infraestructura de búsqueda web sin depender de servicios comerciales. Ofrece compatibilidad drop-in con la API de Tavily, permitiendo reemplazar solo la URL base en el código existente. Incluye protección SSRF y bloqueo de direcciones privadas por defecto.
- Reemplazo directo de API Tavily en aplicaciones existentes sin modificar código
- Búsqueda web para agentes de IA y LLMs con extracción de contenido relevante
- Crawling de sitios web para construcción de bases de conocimiento internas
- Integración con MCP clients (Claude, Cursor) para herramientas de desarrollo
- Compatibilidad drop-in con SDK oficial Tavily y LangChain-tavily
- Licencia MIT permisiva para uso comercial y modificación del código
- Protección SSRF integrada que bloquea direcciones privadas y DNS rebinding
- Soporte MCP nativo para integración con herramientas de desarrollo modernas
- No renderiza JavaScript (solo HTML estático)
- Ranking basado en BM25 sin reranking neural como Tavily
- Dependencia externa de SearXNG para funcionalidad de búsqueda
- Algunos parámetros de Tavily ignorados (include_image_descriptions, instructions)
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Requiere 2 núcleos CPU y 2GB RAM mínimo. Usar docker compose con SearXNG incluido para funcionalidad completa. Configurar API_KEYS para autenticación en producción. Exponer solo localhost o configurar MCP_ALLOWED_HOSTS correctamente. Evitar búsquedas masivas simultáneas para prevenir rate-limiting de motores externos.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.