omp-ninfer
OMP NInfer habilita inferencia local durable para Oh My Pi, integrando Qwen3.8 27B con NInfer en GPUs RTX 4090/5090. Permite sesiones de codificación largas con checkpoints restaurables tras reinicios, manteniendo privacidad y estado explícito sin fallback a la nube.
Ficha actualizada 24 sept 2026, 5:31 · upstream 24 sept 2026, 5:29 · release v0.7.3
Qué es omp-ninfer
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este proyecto empaqueta la integración entre Oh My Pi, el motor NInfer y el modelo Qwen3.8 27B para ofrecer inferencia local robusta. Su característica principal es la continuidad explícita y durable de sesiones, permitiendo restaurar estado tras reinicios del proceso mediante checkpoints en disco.
Diseñado para privacidad y seguridad, utiliza endpoints loopback-only, autenticación bearer y falla cerrado sin recurrir a proveedores cloud. Cada release está empaquetado con artefactos exactos (SHA-256, OCI digest) para garantizar integridad y reproducibilidad en entornos controlados.
El soporte técnico se centra actualmente en tarjetas NVIDIA RTX 4090 y 5090 bajo Windows 11 o Ubuntu WSL2. No es una solución multiusuario ni genérica de inferencia OpenAI, sino una herramienta especializada para flujos de trabajo de agentes de codificación que requieren memoria de estado persistente.
- Sesiones de codificación local largas con contexto extendido
- Restauración de estado tras reinicios del servidor o proceso
- Análisis privado de documentos sin enviar datos a la nube
- Flujos de trabajo de agentes autónomos con memoria persistente
- Despliegue en hardware específico (RTX 4090/5090) para baja latencia
- Checkpoints durables que sobreviven al reinicio del proceso
- Continuidad explícita vía lineage de OpenAI Responses
- Seguridad fail-closed sin fallback a modelos cloud
- Artefactos exactos con checksums SHA-256 y OCI digest
- Alto rendimiento en GPUs RTX 4090/5090 (hasta 139 tok/s)
- Soporte para contexto de hasta 130K tokens
- Requiere hardware específico: RTX 4090 o 5090 (RTX 3090 diferida en v0.7.3)
- No incluye Dockerfile ni Compose, instalación nativa requerida
- Soporte limitado a Windows 11 y Ubuntu WSL2 para Linux
- Diseñado para uso local single-user, no multiusuario
- Compatibilidad estricta con versiones exactas de cliente y modelo
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Descargar release v0.7.3 exacta del manifest oficial. Verificar checksums SHA-256 antes de instalar. Requiere GPU NVIDIA RTX 4090 o 5090 (Windows 11 nativo o WSL2). No usar Docker ni Compose en esta versión. Asegurar memoria RAM y disco según especificaciones del perfil. Restablecer estado solo con binario, modelo y credenciales idénticos.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.