A Red Hat introduziu um novo projeto de código aberto chamado llm-d para aprimorar a inferência de IA generativa escalável. O projeto amplia as capacidades do vLLM para implantações em escala de produção além de servidores únicos. Ele visa fornecer uma plataforma unificada para operações de modelos de linguagem grandes.

Detalhes do Projeto

llm-d amplifica o poder do vLLM para lidar com ambientes de vários servidores, permitindo cargas de trabalho de IA eficientes.

Benefícios

• Suporta portabilidade na nuvem híbrida.
• Integra-se com plataformas como OpenShift e RHEL.
• Foca em simplificar operações de IA para empresas.

Este lançamento reflete os esforços contínuos da Red Hat em inovação de IA por meio de contribuições de código aberto.