Red Hat a introduit un nouveau projet open-source appelé llm-d pour améliorer l'inférence d'IA générative évolutive. Le projet étend les capacités de vLLM pour des déploiements à l'échelle de production au-delà des serveurs uniques. Il vise à fournir une plateforme unifiée pour les opérations de grands modèles de langage.

Détails du projet

llm-d amplifie la puissance de vLLM pour gérer des environnements multi-serveurs, permettant des charges de travail IA efficaces.

Avantages

• Prend en charge la portabilité sur le cloud hybride.
• S'intègre à des plateformes comme OpenShift et RHEL.
• Se concentre sur la simplification des opérations d'IA pour les entreprises.

Ce lancement reflète les efforts continus de Red Hat en matière d'innovation en IA à travers des contributions open-source.