Red Hat har introducerat ett nytt öppen källkodsprojekt kallat llm-d för att förbättra skalbar generativ AI-inferens. Projektet utökar kapaciteten hos vLLM för produktionsskaliga distributioner bortom enskilda servrar. Det syftar till att tillhandahålla en enhetlig plattform för operationer med stora språkmodeller.