Red Hat ha presentado un nuevo proyecto de código abierto llamado llm-d para mejorar la inferencia de IA generativa escalable. El proyecto amplía las capacidades de vLLM para implementaciones a escala de producción más allá de servidores individuales. Tiene como objetivo proporcionar una plataforma unificada para operaciones de modelos de lenguaje grandes.

Detalles del proyecto

llm-d amplifica el poder de vLLM para manejar entornos de múltiples servidores, permitiendo cargas de trabajo de IA eficientes.

Beneficios

• Soporta la portabilidad en la nube híbrida.
• Se integra con plataformas como OpenShift y RHEL.
• Se enfoca en simplificar las operaciones de IA para las empresas.

Este lanzamiento refleja los esfuerzos continuos de Red Hat en innovación de IA a través de contribuciones de código abierto.