ram-coffers
RAM Coffers es una arquitectura de inferencia de LLMs que utiliza memoria NUMA-aware y weight banking para reducir costes en hardware empresarial refurbished como IBM POWER8. Opera sin GPU ni APIs cloud, alcanzando 147 tokens/sec (8.8x llama.cpp stock) mediante instrucciones hardware AES.
Ficha actualizada 26 sept 2026, 15:52 · upstream 26 sept 2026, 15:32 · release sin release detectada
Qué es ram-coffers
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
RAM Coffers es un sistema de infraestructura para inferencia de modelos de lenguaje grande (LLM) que implementa una arquitectura de memoria consciente de NUMA con weight banking distribuido. El sistema enruta el conocimiento del modelo a través de bancos de memoria física, permitiendo que hardware empresarial refurbished —como IBM POWER8 o máquinas de clase Apple Silicon— sirva modelos localmente sin dependencia de APIs cloud.
La arquitectura introduce innovaciones clave: NUMA-Distributed Weight Banking (particionamiento de pesos por dominio), Resonance Routing (matching de embeddings vía similitud coseno), Non-Bijunctive Pruning (reducción de requisitos de ancho de banda) y DCBT Resident Prefetch para residency en caché L2/L3. El sistema forma parte del stack Proof of Physical AI, donde el hardware físico genera tokens reales.
El rendimiento medido alcanza 147 tokens/segundo en POWER8 S824 con 320GB RAM y dual 8-core, superando significativamente a llama.cpp estándar. La arquitectura predice conceptualmente trabajos posteriores como DeepSeek's Engram paper, separando almacenamiento estático de cómputo dinámico para inferencia más eficiente.
- Inferencia local de LLMs en hardware empresarial refurbished (IBM POWER8)
- Reducción de costes cloud mediante self-hosting con arquitectura NUMA-aware
- Nodos DePIN que realizan inferencia útil mientras generan rewards por existencia física
- Investigación en arquitecturas sin GPU para inferencia eficiente de LLMs
- Rendimiento de 147 tokens/sec (8.8x llama.cpp stock) en POWER8 S824
- Arquitectura O(1) retrieval sin dependencia de GPU
- Uso de instrucciones hardware AES (vcipher) para atención collapse
- Licencia AGPL v3 garantizando código abierto y permisos comerciales
- Requiere hardware específico principalmente POWER8 o fallback a x86_64/ARM64 con rendimiento variable
- Sin Docker/Compose según análisis técnico (despliegue directo del sistema)
- Complejidad LOW pero requiere conocimiento técnico avanzado en arquitectura NUMA
- Solo 4 núcleos CPU en benchmark de referencia
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Compilar con cmake especificando -DCMAKE_C_FLAGS="-mcpu=power8 -mvsx -maltivec -mcrypto" para POWER8. Verificar FALLBACK_BEHAVIOR.md para compatibilidad en x86_64, ARM64 y Apple Silicon. Sin contenedores, despliegue directo del sistema. Consultar FAQ.md para preguntas comunes sobre RAM Coffers, RTC y Proof of Antiquity.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.