Red Hat och NVIDIA har uppnått branschledande resultat i de senaste MLPerf Inference v6.0-testerna för modeller inom bild, tal och resonemang. Företagen optimerade lager från RHEL-kärnan till vLLM-motorn. Arbetet syftar till att hjälpa företag att sänka kostnaden per token på H200- och B200-GPU:er.
Red Hat meddelade den 2 april att de har samarbetat med NVIDIA för att leverera toppresultat i MLPerf Inference v6.0-testerna. Resultaten omfattar modeller för bild, tal och resonemang, vilket placerar dem som branschledare inom dessa kategorier. Red Hat uppgav att optimeringarna sträckte sig över varje lager, från RHEL-kärnan hela vägen upp till vLLM-motorn. Dessa förbättringar syftar till en lägre kostnad per token för företag som använder H200- och B200-GPU:er från NVIDIA. Red Hat uppmanade intressenter att granska testdatan för ytterligare detaljer.
