Red Hat dan NVIDIA telah mencapai hasil terdepan di industri dalam tolok ukur MLPerf Inference v6.0 terbaru untuk model visi, ucapan, dan penalaran. Perusahaan-perusahaan ini mengoptimalkan lapisan dari kernel RHEL hingga mesin vLLM. Upaya ini bertujuan untuk membantu perusahaan menekan biaya per token pada GPU H200 dan B200.
Red Hat mengumumkan pada tanggal 2 April bahwa mereka telah berkolaborasi dengan NVIDIA untuk memberikan kinerja puncak dalam tolok ukur MLPerf Inference v6.0. Hasil tersebut mencakup model visi, ucapan, dan penalaran, yang menempatkan mereka sebagai pemimpin industri dalam kategori-kategori ini. Red Hat menyatakan bahwa optimalisasi mencakup setiap lapisan, mulai dari kernel RHEL hingga mesin vLLM. Peningkatan ini menargetkan biaya per token yang lebih rendah bagi perusahaan yang menggunakan GPU H200 dan B200 dari NVIDIA. Red Hat mengundang para pemirsa untuk meninjau data tolok ukur tersebut untuk mendapatkan perincian lebih lanjut.