Red Hat y NVIDIA han obtenido resultados líderes en la industria en los últimos puntos de referencia MLPerf Inference v6.0 para modelos de visión, voz y razonamiento. Las compañías optimizaron las capas desde el kernel de RHEL hasta el motor vLLM. Este trabajo tiene como objetivo ayudar a las empresas a reducir los costos por token en las GPU H200 y B200.
Red Hat anunció el 2 de abril que colaboró con NVIDIA para ofrecer un rendimiento superior en los puntos de referencia MLPerf Inference v6.0. Los resultados abarcan modelos de visión, voz y razonamiento, posicionándolos como líderes de la industria en estas categorías. Red Hat declaró que las optimizaciones abarcaron todas las capas, desde el kernel de RHEL hasta el motor vLLM. Estas mejoras tienen como objetivo reducir el costo por token para las empresas que utilizan las GPU H200 y B200 de NVIDIA. Red Hat invitó a los espectadores a revisar los datos de los puntos de referencia para obtener más detalles.