paperless-ngx-dedupe
Paperless NGX Dedupe es una herramienta que detecta y elimina documentos duplicados en Paperless-NGX mediante algoritmos MinHash/LSH para coincidencias cercanas, junto con extracción automática de metadatos con IA.
Ficha actualizada 22 sept 2026, 18:49 · upstream 22 sept 2026, 18:44 · release v0.18.1
Qué es paperless-ngx-dedupe
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Esta herramienta se integra con Paperless-NGX para automatizar la detección de documentos duplicados. Utiliza técnicas avanzadas como MinHash y LSH (Locality-Sensitive Hashing) para identificar coincidencias cercanas que el hash exacto podría pasar por alto, ofreciendo una detección más precisa. Además, incorpora inteligencia artificial mediante modelos de lenguaje para extraer metadatos automáticamente: correspondientes, tipos de documento y etiquetas. Estos metadatos se extraen con puntuación de confianza y pueden ser revisados antes de aplicarse. La herramienta permite procesar documentos en lotes (batch processing), realizar revisión lado a lado entre documentos duplicados mediante comparación OCR y diff, aplicar acciones como eliminar o marcar como no duplicado, exportar reportes CSV y restaurar configuraciones. También ofrece observabilidad con OpenTelemetry para trazas, métricas y logs.
- Eliminar documentos duplicados en un archivo de documentos masivo sin perder información relevante
- Automatizar la detección de correos electrónicos duplicados en bases de datos o archivos CSV
- Reducir redundancias en repositorios de código (ej. GitHub) al eliminar commits duplicados
- Optimizar almacenamiento de archivos multimedia eliminando copias idénticas
- Mejorar el rendimiento de sistemas que procesan grandes volúmenes de documentos por lotes
- Automatizar la limpieza de metadatos repetitivos en bases de datos relacionales
- Detección inteligente mediante MinHash y LSH para identificar coincidencias cercanas con complejidad O(n log n)
- Algoritmo discriminativo que penaliza pares con texto boilerplate similar pero contenido distinto
- Extrae metadatos (correspondientes, tipos de documento, etiquetas) con modelos de lenguaje y puntuación de confianza
- Procesa documentos en lotes (batch processing) con progreso en tiempo real vía Server-Sent Events
- Soporte para observabilidad completa con OpenTelemetry, métricas y logs integrados
- Diseño minimalista: despliegue en un solo contenedor Docker con SQLite integrado
- La detección de duplicidades puede fallar con documentos que contienen caracteres especiales o formatos no estándar
- El análisis de metadatos con IA depende del modelo de lenguaje utilizado y puede variar según el contexto
- No garantiza la eliminación definitiva de duplicados, solo sugiere acciones para resolverlos manualmente
- La sincronización incremental puede ser ineficiente en grandes volúmenes de documentos
- El uso de modelos de lenguaje introduce latencia adicional en comparación con métodos hash tradicionales
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Se recomienda desplegar el proyecto en un contenedor Docker usando docker compose. Se debe configurar una variable de entorno PAPERLESS_URL con la URL del servidor Paperless-NGX y PAPERLESS_API_TOKEN con el token de autenticación (preferiblemente API key). El servicio se ejecuta en modo de red para evitar conflictos de portabilidad, aunque puede ser desplegado en producción como un servicio independiente. Se debe configurar el límite de conexiones y la memoria del contenedor según las necesidades del entorno. Para pruebas locales, se recomienda usar docker compose con el flag --build para generar la imagen Docker necesaria.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.