fornax
Fornax es un proyecto open source en Go que permite ejecutar modelos de inteligencia artificial abiertos (open-weight) directamente en GPUs propias del usuario. Ofrece una interfaz única para servir endpoints compatibles con OpenAI y Anthropic, junto con herramientas de validación y benchmarking.
Ficha actualizada 22 sept 2026, 22:53 · upstream 22 sept 2026, 22:43 · release sin release detectada
Qué es fornax
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Fornax permite desplegar modelos de IA abierta sin depender de servicios externos como Hugging Face. El proyecto utiliza un enfoque de 'weight freeze' donde los pesos del modelo se congelan en una caché local o en S3, evitando descargas repetidas desde el repositorio original. Esto reduce costos y elimina la dependencia de APIs de terceros con límites de tasa. La arquitectura soporta tanto despliegues en Kubernetes como ejecuciones directas bajo systemd para hosts individuales.
- Servir modelos de IA (Qwen, Llama, etc.) sin depender de Hugging Face o servicios externos
- Optimizar costos operativos al evitar tarifas por token y límites de tasa de proveedores
- Desplegar modelos en infraestructura propia con control total sobre hardware y datos
- Permitir fine-tuning posterior sobre pesos congelados sin re-downloads desde upstream
- Servir modelos multimodales (texto, visión) a través de un solo endpoint común
- Soporta múltiples dialectos de API: OpenAI Chat Completions, Anthropic Messages y Responses
- Modelo Qwen3.8-27B sirve en una GPU GB10 con 3.0 tokens/segundo a plena capacidad BF16
- Validación automática de manifests mediante checksums per archivo contra el repositorio original
- Soporte para almacenamiento S3, DO Spaces y MinIO sin necesidad de Docker
- Monitoreo de latencia y throughput en tiempo real con el comando bench
- No incluye un pipeline completo de fine-tuning desde cero; los pesos ya están congelados
- El modelo Qwen3.8-27B tiene una velocidad limitada a ~3 tokens/segundo sin path acelerado
- La validación de manifests se realiza solo en CI y no como parte del despliegue automático
- No incluye registro de nodos GPU en la nube (gateway registration) ni despliegues multi-GPU escalables
- El modelo 4-bit con draft head está disponible pero aún no ha sido servido a través de Fornax
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Para Kubernetes: se requiere un LeaderWorkerSet para manejar el control del estado. Para systemd: se ejecuta como servicio de nivel bajo (systemd unit). Se recomienda usar S3 o MinIO para almacenar los manifests congelados, ya que la validación de checksums es crítica. El proyecto no soporta Docker ni Compose; todo debe ser compilado y ejecutado manualmente con Go 1.27+. La validación de consistencia entre manifestos y repositorios se realiza en CI y mediante el comando fornax validate.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.