Red Hat et NVIDIA ont obtenu des résultats de premier plan dans les derniers benchmarks MLPerf Inference v6.0 pour les modèles de vision, de parole et de raisonnement. Les entreprises ont optimisé les couches allant du noyau RHEL au moteur vLLM. Ces travaux visent à aider les entreprises à réduire le coût par jeton sur les GPU H200 et B200.
Red Hat a annoncé le 2 avril sa collaboration avec NVIDIA pour offrir des performances de haut niveau dans les benchmarks MLPerf Inference v6.0. Les résultats couvrent les modèles de vision, de parole et de raisonnement, les positionnant comme des leaders du secteur dans ces catégories. Red Hat a déclaré que les optimisations ont porté sur chaque couche, du noyau RHEL jusqu'au moteur vLLM. Ces améliorations visent à réduire le coût par jeton pour les entreprises utilisant les GPU H200 et B200 de NVIDIA. Red Hat a invité les personnes intéressées à consulter les données des benchmarks pour plus de détails.