Red Hat har introducerat ett nytt öppen källkodsprojekt kallat llm-d för att förbättra skalbar generativ AI-inferens. Projektet utökar kapaciteten hos vLLM för produktionsskaliga distributioner bortom enskilda servrar. Det syftar till att tillhandahålla en enhetlig plattform för operationer med stora språkmodeller.

Projektinformation

llm-d förstärker vLLM:s kraft att hantera miljöer med flera servrar, vilket möjliggör effektiva AI-arbetsbelastningar.

Fördelar

• Stöder portabilitet i hybridmoln.
• Integrerar med plattformar som OpenShift och RHEL.
• Fokuserar på att förenkla AI-operationer för företag.

Denna lansering återspeglar Red Hats pågående insatser inom AI-innovation genom bidrag till öppen källkod.