laya-decision-api
Servicio HTTP para decisiones locales offline usando el modelo System-1 Laya. Clasifica intenciones, asigna tickets y enruta a LLMs sin usar tokens externos. Soporta Apple Silicon (MLX) y Linux (Torch). Incluye SDKs Java/TS/Python y documentación OpenAPI 3.0/3.1.
Ficha actualizada 24 sept 2026, 12:11 · upstream 24 sept 2026, 11:16 · release sin release detectada
Qué es laya-decision-api
Descripción editorial construida a partir del repositorio, su documentación y sus señales de mantenimiento.
laya-decision-api es una API RESTful que encapsula el modelo de decisión local Laya en un servicio HTTP versionado. Su propósito principal es proporcionar capacidades de inferencia determinista sin depender de APIs externas ni generar texto, ideal para tareas de clasificación y enrutamiento. El servicio se basa en FastAPI y Pydantic para garantizar contratos estrictos, exponiendo endpoints para decisiones (/v1/decide), salud y documentación OpenAPI.
El sistema soporta dos backends: MLX para Apple Silicon (aceleración Metal) y Torch para Linux, permitiendo despliegues heterogéneos. La arquitectura prioriza la privacidad y el rendimiento offline, con latencias de 8-22 ms en hardware M4. Incluye gestión de autenticación por API keys, rate limiting basado en tokens y mecanismos de caché controlados vía variables de entorno.
La entrega incluye SDKs nativos para Python, Java (sin dependencias) y TypeScript, facilitando la integración en monolitos o microservicios existentes. La documentación se genera automáticamente desde los modelos Pydantic, asegurando coherencia entre el código y la especificación OpenAPI 3.1 (con soporte de downgrade a 3.0 para plataformas legacy).
- Clasificación de intención en chats de soporte.
- Asignación automática de tickets a equipos técnicos o financieros.
- Enrutamiento de consultas a modelos LLM específicos según complejidad.
- Moderación de contenido para detectar jailbreaks o inyecciones.
- Evaluación de urgencia o prioridad en flujos de trabajo internos.
- Validación binaria (sí/no) para aprobaciones de seguridad.
- Inferencia offline sin consumo de tokens ni llamadas a APIs externas.
- Retorno de distribuciones de probabilidad y confianza para decisiones programables.
- SDKs de cliente cero-dependencia para Java y TypeScript.
- Contratos Pydantic que generan documentación OpenAPI 3.1/3.0 automáticamente.
- Soporte nativo para Apple Silicon (MLX) y Linux (Torch).
- Gestión robusta de autenticación y rate limiting vía variables de entorno.
- Requiere descarga y gestión local de modelos de peso (no es serverless).
- No incluye Docker Compose, solo Dockerfile individual.
- Latencia inicial por carga del modelo en arranque frío (cold start).
- Soporte limitado a Python 3.11/3.12/3.13 y JDK 11+.
- La documentación OpenAPI 3.1 requiere downgrade manual para plataformas que solo admiten 3.0.
Capturas del proyecto
Imágenes reales detectadas en la documentación del repositorio.
Perfil de infraestructura
Estimación inicial derivada del repositorio y de los servicios detectados.
Despliegue detectado
Qué señales reales de instalación hemos encontrado.
Usar Docker con la imagen oficial o construir desde el Dockerfile. Para Apple Silicon, instalar laya-decision-api[mlx]; para Linux, usar laya-decision-api[torch]. Configurar autenticación y límites de tasa en variables de entorno antes de iniciar. El puerto por defecto es 8765. Verificar la carga del modelo con /readyz?warm=1. Exportar OpenAPI 3.0 si el gateway no soporta 3.1.
Stack y dependencias
Componentes inferidos a partir de manifests, configuración y documentación.
Puede sustituir a
Relaciones detectadas por el análisis del repositorio y su categoría.
Experiencia real de la comunidad
Ayuda a contrastar la estimación automática con instalaciones reales.
Todavía no hay datos comunitarios para este proyecto.