Red Hat telah memperkenalkan proyek open-source baru bernama llm-d untuk meningkatkan inferensi AI generatif yang skalabel. Proyek ini memperluas kemampuan vLLM untuk penyebaran skala produksi di luar server tunggal. Ini bertujuan untuk menyediakan platform terpadu untuk operasi model bahasa besar.

Detail Proyek

llm-d meningkatkan kekuatan vLLM untuk menangani lingkungan multi-server, memungkinkan beban kerja AI yang efisien.

Manfaat

• Mendukung portabilitas cloud hibrida.
• Terintegrasi dengan platform seperti OpenShift dan RHEL.
• Berfokus pada penyederhanaan operasi AI untuk perusahaan.

Peluncuran ini mencerminkan upaya berkelanjutan Red Hat dalam inovasi AI melalui kontribusi open-source.