Qwen3.5-9B-ToolHub
Plataforma local para desplegar Qwen3.5-9B multimodal con búsqueda web, visión y lectura de archivos vía API OpenAI compatible. Requiere GPU NVIDIA (≥8GB VRAM) o Docker Compose. Soporta Windows, WSL y Linux nativo mediante scripts o contenedores.
Ficha actualizada 22 sept 2026, 16:44 · upstream 22 sept 2026, 14:41 · release sin release detectada
Qué es Qwen3.5-9B-ToolHub
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este repositorio ofrece una solución todo en uno para ejecutar el modelo Qwen3.5-9B multimodal de forma local, integrando capacidades avanzadas como búsqueda web, análisis de imágenes y lectura de archivos locales. La inferencia se realiza directamente en la GPU del dispositivo, garantizando privacidad y baja latencia sin depender de servicios en la nube. El proyecto utiliza FastAPI para exponer una interfaz compatible con el estándar OpenAI, permitiendo su integración sencilla con aplicaciones externas o clientes existentes.
Dispone de múltiples rutas de despliegue adaptadas a diferentes entornos: instalación nativa en Windows 10/11 mediante scripts .bat, contenerización completa con Docker Compose para entornos Linux o WSL, y opciones de cuantización Q8 para GPUs con mayor memoria (≥12GB). La arquitectura se basa en el motor de inferencia llama.cpp, optimizado para modelos GGUF, asegurando un rendimiento eficiente incluso en hardware de consumo.
Incluye funcionalidades clave como la cadena de pensamiento (Chain of Thought) para razonamiento complejo y soporte nativo para interacciones multimodales. El sistema gestiona automáticamente el descargado del modelo (aprox. 6GB) y los servicios necesarios, proporcionando herramientas de gestión de inicio/parada y documentación detallada para resolución de problemas y configuración avanzada.
- Consultas multimodales locales con análisis de imágenes subidas por el usuario
- Búsqueda web automatizada para resumir noticias o extraer datos de páginas web
- Análisis de documentos locales (logs, PDFs) mediante lectura directa de archivos
- Integración como backend API OpenAI compatible en aplicaciones propias
- Ejecución de tareas de razonamiento complejo con visualización del proceso de pensamiento
- Soporte nativo para inferencia multimodal (texto e imágenes) sin salida a la nube
- API compatible con OpenAI en el puerto 8080 para integración rápida
- Motor de inferencia llama.cpp optimizado para modelos GGUF
- Flexibilidad de despliegue: Windows nativo, WSL o Docker Compose
- Capacidad de razonamiento con Chain of Thought integrado
- Requiere GPU NVIDIA con al menos 8 GB de VRAM para la ruta nativa estándar
- Dependencia de Python 3.10 o superior en entornos nativos
- El modelo base ocupa aproximadamente 6 GB de espacio y más tiempo de carga inicial
- La versión Q8 requiere al menos 12 GB de VRAM para ser viable
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Instalar vía bootstrap.bat en Windows o usar docker compose up --build. Requiere GPU NVIDIA (≥8GB VRAM) y Python 3.10+. El modelo carga en ~6GB; la versión Q8 necesita ≥12GB VRAM. Puerto API: 8080. Verificar compatibilidad de drivers CUDA antes de iniciar.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.