shardline
Servidor autoalojable de almacenamiento direccionado por contenido para modelos de IA, datasets, contenedores y artefactos de compilación con frontends Git LFS, OCI, Bazel HTTP, Huggingface y Xet.
Ficha actualizada 24 sept 2026, 11:40 · upstream 24 sept 2026, 11:25 · release v1.11.0
Qué es shardline
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Shardline es un servidor de almacenamiento direccionado por contenido diseñado para gestionar archivos grandes y cambiantes. Almacena cada pieza de datos una sola vez y representa nuevas versiones como cambios en metadatos pequeños, lo que lo convierte en un backend práctico para checkpoints de modelos, datasets, capas de contenedores, activos de juegos, salidas de compilación y cachés de CI que son grandes, frecuentemente revisados y costosos de copiar repetidamente.
Ejecuta sobre infraestructura controlada por el usuario. Expone protocolos que las herramientas ya comprenden, mantiene metadatos duraderos y transmite datos a través del camino completo de solicitud para que el tamaño del archivo no se convierta en uso de memoria del servidor. Soporta deduplicación entre versiones, transmisión por defecto, transferencias reanudables y múltiples clientes contra el mismo almacén direccionado por contenido.
La arquitectura de producción utiliza roles API y transferencia escalables independientemente mientras comparten los mismos almacenes de metadatos y objetos. Todos los roles imponen las mismas restricciones de contenido, autorización y recursos. Soporta almacenamiento local o en la nube con PostgreSQL para metadatos duraderos.
- Backend para checkpoints de modelos de IA y datasets en repositorios Git LFS
- Almacenamiento de capas de imágenes OCI y artefactos de contenedores
- Caché de compilación remota para Bazel HTTP con predicción de acciones
- API compatible con Hugging Face Hub para modelos y revisiones
- Almacenamiento de activos de juegos y outputs de compilación en CI/CD
- Análisis con DuckDB como cliente S3 externo para consultas SQL
- Deduplicación automática: fragmentos compartidos almacenados una sola vez incluso con múltiples revisiones
- Transmisión por defecto: uploads, downloads y range reads usan memoria acotada
- Transferencias reanudables: interrupciones en Git LFS, OCI, S3 o Xet pueden continuar sin reiniciar
- Un núcleo de almacenamiento para múltiples clientes con protocolos distintos
- Garbage collection con cuarentena antes de eliminación y reanudable seguro
- Roles API y transferencia escalables independientemente compartiendo metadatos
- No soporta despliegue one-click; requiere configuración manual o Docker Compose
- Producción requiere PostgreSQL + S3-compatible; no es solo sistema de archivos local
- Autenticación en producción necesita clave de firma montada o proveedor externo
- Complejidad HIGH con 4 núcleos CPU, 4096 MB RAM y 30 GB disco mínimos recomendados
- No incluye soporte nativo para TLS; requiere terminación externa en edge
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Producción: PostgreSQL + S3-compatible (MinIO/AWS). Roles API/transfer escalables. TLS en edge con identity provider. Redis opcional para caché de reconstrucción. Verificar docs/DEPLOYMENT.md para env vars, secrets y Kubernetes. Backup antes de gc. Reemplazar credenciales del compose dev.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.