Benchmarks de IA

A Red Hat e a NVIDIA alcançaram resultados líderes do setor nos mais recentes benchmarks MLPerf Inference v6.0 para modelos de visão, fala e raciocínio. As empresas otimizaram camadas desde o kernel do RHEL até o motor vLLM. Este trabalho visa ajudar as empresas a reduzir os custos por token em GPUs H200 e B200.