Estudio Revela Defectos de ChatGPT en Resumir Ciencia
Una nueva investigación de periodistas científicos, publicada el 19 de septiembre de 2025, expuso deficiencias significativas en la capacidad de ChatGPT para resumir con precisión artículos científicos. El estudio probó la IA en cientos de resúmenes, encontrando errores frecuentes en detalles clave e interpretaciones. Esto plantea preocupaciones sobre la dependencia de modelos de lenguaje grandes para tareas académicas.
El 19 de septiembre de 2025, se lanzó un informe colaborativo de un equipo de periodistas científicos, detallando un análisis exhaustivo del rendimiento de ChatGPT en la resumir de artículos científicos revisados por pares. El proyecto, iniciado en junio de 2025, involucró aportes de expertos en varias universidades y culminó en hallazgos presentados en una conferencia de prensa virtual organizada por la Society of Science Writers.
La línea de tiempo comenzó con la selección de 500 artículos científicos diversos de campos como biología, física y medicina. Los periodistas solicitaron a ChatGPT estos resúmenes en julio y agosto, comparando los resúmenes de la IA con versiones de expertos humanos. A principios de septiembre, el análisis de datos reveló un patrón de inexactitudes, lo que llevó a la divulgación pública el 19.
"ChatGPT a menudo inventa detalles que no están en el texto original, lo que podría despistar a los investigadores," dijo la periodista principal Maria Gonzalez durante la conferencia. Otro participante, Dr. Alex Rivera, agregó: "En un caso, la IA invirtió la causalidad en un estudio climático, potencialmente distorsionando la comprensión pública." Estas citas resaltan el elemento humano en la crítica, derivado de comparaciones directas.
El contexto de fondo de ChatGPT proviene de su lanzamiento por OpenAI en 2022, adoptado rápidamente para tareas como escritura y resumen. Sin embargo, las preocupaciones sobre la precisión han persistido, con estudios previos notando 'alucinaciones'—información fabricada. Este nuevo informe se basa en eso, enfocándose específicamente en la literatura científica, donde la precisión es primordial en medio de la creciente integración de la IA en la academia.
Las implicaciones son profundas para la educación e investigación. Académicamente, podría disuadir la sobredependencia de herramientas de IA, impulsando llamados a mejores datos de entrenamiento y transparencia de los desarrolladores. Económicamente, afecta a la industria tecnológica, valorada en miles de millones, al resaltar necesidades de mejora para mantener la confianza. En términos de política, podría influir en regulaciones sobre la IA en la publicación académica, con posibles directrices de organismos como la National Science Foundation. A medida que la IA evoluciona, este estudio subraya el papel irremplazable de la supervisión humana en dominios complejos.
A pesar de las críticas, los proponentes argumentan que actualizaciones iterativas podrían abordar estos defectos. El informe concluye con recomendaciones para flujos de trabajo híbridos humano-IA, sugiriendo un camino adelante en un mundo cada vez más automatizado.