Red Hat har introducerat ett nytt öppen källkodsprojekt kallat llm-d för att förbättra skalbar generativ AI-inferens. Projektet utökar kapaciteten hos vLLM för produktionsskaliga distributioner bortom enskilda servrar. Det syftar till att tillhandahålla en enhetlig plattform för operationer med stora språkmodeller.
Projektinformation
llm-d förstärker vLLM:s kraft att hantera miljöer med flera servrar, vilket möjliggör effektiva AI-arbetsbelastningar.
Fördelar
- Stöder portabilitet i hybridmoln.
- Integrerar med plattformar som OpenShift och RHEL.
- Fokuserar på att förenkla AI-operationer för företag.
Denna lansering återspeglar Red Hats pågående insatser inom AI-innovation genom bidrag till öppen källkod.