openchat
Librería de modelos de lenguaje abiertos fine-tuned con C-RLFT para tareas de chat, codificación y razonamiento matemático. Compatible con OpenAI API, despliegue en GPU consumer como RTX 3090/4090.
Ficha actualizada 18 sept 2026, 19:53 · upstream 13 sept 2024, 7:46 · release 3.6.1
Qué es openchat
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
OpenChat es una librería de modelos de lenguaje abiertos fine-tuned utilizando la estrategia C-RLFT (inspirada en aprendizaje por refuerzo offline). Los modelos aprenden de datos de calidad mixta sin etiquetas de preferencia, logrando rendimiento excepcional comparable a ChatGPT incluso con modelos de 7B parámetros ejecutables en GPU consumer como RTX 3090.
La librería soporta múltiples versiones: OpenChat 3.6 basado en Llama 3 (licencia Llama 3) y OpenChat 3.5 bajo Apache 2.0. Los modelos han demostrado superar benchmarks oficiales de ChatGPT en tareas de codificación, razonamiento matemático y conocimiento general.
El servidor API está optimizado con vLLM para batching dinámico de solicitudes, compatible con el protocolo OpenAI ChatCompletion API. Soporta despliegue en GPU única o múltiples GPUs con paralelismo tensorial usando Ray.
- Chat asistencial general con modelos de 7B parámetros ejecutables en hardware consumer
- Generación y depuración de código Python, JavaScript y otros lenguajes
- Razonamiento matemático y resolución de problemas cuantitativos
- API compatible con OpenAI para integración en aplicaciones existentes
- Modelo de 7B parámetros supera ChatGPT en HumanEval (71.3 vs 48.1) y MMLU (65.8 vs 67.3)
- Licencia Apache 2.0 para OpenChat 3.5 permite uso comercial sin restricciones
- Despliegue optimizado con vLLM para batching dinámico en producción
- Soporta múltiples condiciones de inferencia: GPT4 Correct y Math Correct
- Requiere PyTorch y CUDA instalados previamente (sin Docker por defecto)
- Para GPUs antiguas sin soporte bfloat16, necesario añadir --dtype float16
- Evaluación de HumanEval requiere EvalPlus repository externo adicional
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Instalar vía pip3 install ochat o desde source con pip3 install -e .. Desplegar API server: python -m ochat.serving.openai_api_server --model MODEL_REPO. Para múltiples GPUs añadir --engine-use-ray --worker-use-ray --tensor-parallel-size N. Puerto por defecto 18888. Recomendar HTTPS gateway para producción. Requiere PyTorch y CUDA instalados.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.