A Red Hat e a NVIDIA alcançaram resultados líderes do setor nos mais recentes benchmarks MLPerf Inference v6.0 para modelos de visão, fala e raciocínio. As empresas otimizaram camadas desde o kernel do RHEL até o motor vLLM. Este trabalho visa ajudar as empresas a reduzir os custos por token em GPUs H200 e B200.
A Red Hat anunciou em 2 de abril que colaborou com a NVIDIA para oferecer desempenho superior nos benchmarks MLPerf Inference v6.0. Os resultados abrangem modelos de visão, fala e raciocínio, posicionando-as como líderes do setor nessas categorias. A Red Hat afirmou que as otimizações abrangeram todas as camadas, desde o kernel do RHEL até o motor vLLM. Essas melhorias visam reduzir o custo por token para empresas que utilizam as GPUs H200 e B200 da NVIDIA. A Red Hat convidou os interessados a revisar os dados dos benchmarks para obter mais detalhes.