Red Hat telah memperkenalkan proyek open-source baru bernama llm-d untuk meningkatkan inferensi AI generatif yang skalabel. Proyek ini memperluas kemampuan vLLM untuk penyebaran skala produksi di luar server tunggal. Ini bertujuan untuk menyediakan platform terpadu untuk operasi model bahasa besar.