Los sistemas de IA de empresas líderes como Google, OpenAI, Anthropic y xAI perdieron dinero al apostar en partidos de fútbol durante una temporada 2023-24 de la Premier League simulada, según un informe de la startup General Reasoning. El estudio, denominado KellyBench, evaluó la capacidad de ocho modelos de primer nivel para gestionar el riesgo y adaptarse con el paso del tiempo. Claude Opus 4.6 de Anthropic obtuvo los mejores resultados con una pérdida media del 11 por ciento, mientras que Grok 4.20 de xAI fracasó de forma reiterada.
General Reasoning, una startup de IA con sede en Londres, publicó esta semana el informe KellyBench, que pone de relieve las limitaciones de los modelos de IA de vanguardia. La empresa simuló la temporada completa 2023-24 de la Premier League, proporcionando a las IA datos históricos, estadísticas de los equipos e instrucciones para crear modelos de apuestas que maximizaran los beneficios y gestionaran el riesgo. Los modelos apostaron por los resultados de los partidos y el total de goles sin acceso a internet y recibieron tres intentos cada uno para obtener ganancias a medida que la temporada se desarrollaba con actualizaciones en tiempo real sobre los jugadores y los eventos. Ninguno tuvo éxito de manera consistente y muchos llegaron a la bancarrota. Los sistemas tuvieron un rendimiento sistemáticamente inferior al de los humanos, concluyó el informe. Todos los modelos de vanguardia perdieron dinero en términos generales y varios sufrieron la ruina. Claude Opus 4.6 de Anthropic fue el que más se acercó a alcanzar el punto de equilibrio en una de las pruebas, con una pérdida media del 11 por ciento. Gemini 3.1 Pro de Google obtuvo un 34 por ciento de beneficio en una ocasión, pero quebró en otro intento. Grok 4.20 de xAI se declaró en quiebra en un intento y no pudo terminar los otros. Ross Taylor, director ejecutivo de General Reasoning y exinvestigador de Meta AI, señaló: “Hay mucho entusiasmo en torno a la automatización mediante IA, pero no se mide mucho el desempeño de la IA en entornos a largo plazo”. Criticó que los puntos de referencia habituales de la IA son demasiado estáticos, a diferencia del caos del mundo real. Taylor añadió: “Si pruebas la IA en algunas tareas del mundo real, los resultados son realmente malos”. El documento está pendiente de revisión por pares.
