A Red Hat introduziu um novo projeto de código aberto chamado llm-d para aprimorar a inferência de IA generativa escalável. O projeto amplia as capacidades do vLLM para implantações em escala de produção além de servidores únicos. Ele visa fornecer uma plataforma unificada para operações de modelos de linguagem grandes.