private-vllm-aws
Solución CloudFormation para desplegar un endpoint vLLM privado en AWS usando EC2 Spot y SSM tunnels. Optimizado para clientes como Claude Code, sin IP pública ni reglas de entrada, con costes controlados mediante instancias GPU g5.xlarge.
Ficha actualizada 27 sept 2026, 21:41 · upstream 27 sept 2026, 20:47 · release sin release detectada
Qué es private-vllm-aws
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
Este repositorio proporciona plantillas CloudFormation para crear un endpoint privado de vLLM en AWS, ideal para entornos de desarrollo como Claude Code. Utiliza una instancia EC2 g5.xlarge con GPU Spot dentro de un VPC aislado, accesible únicamente mediante túneles SSM desde el cliente local, eliminando la necesidad de IP pública o reglas de seguridad inbound.
La configuración incluye Docker con la imagen oficial vllm/vllm-openai, sirviendo APIs como Anthropic Messages y Codex. El despliegue soporta tanto VPCs existentes como nuevos, gestionando automáticamente el NAT Gateway y volúmenes gp3. Se recomienda usar teardown.sh para detener costes de red al pausar la infraestructura por periodos largos.
La seguridad se basa en IAM y CloudTrail para el acceso SSM, aunque las claves API se almacenan en scripts de arranque por defecto. Los logs residen localmente en el volumen raíz y no en CloudWatch. Es crucial gestionar la disponibilidad Spot y considerar On-Demand si se requiere estabilidad sin interrupciones.
- Desarrollo remoto con Claude Code
- Pruebas de modelos LLM privados
- Entorno aislado para inferencia local
- Evaluación de costes GPU en AWS
- Acceso seguro vía SSM sin IP pública
- Bajo coste operativo con instancias Spot
- Compatibilidad nativa con vLLM y Docker
- Gestión automática de VPC y red
- Interrupciones no planificadas en modo Spot
- Logs locales eliminados al reemplazar instancia
- Claves API expuestas en user data por defecto
- Costes fijos de NAT Gateway independientemente del uso
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Verificar cuota GPU antes de desplegar. Para pausas largas, ejecutar teardown.sh para detener costes de red. Usar SSM Parameter Store para claves en lugar de scripts de arranque. Cambiar PurchaseOption a ondemand si se requiere estabilidad sin interrupciones. Actualizar compute.yaml para fechas de validez Spot.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.