Studi Mengungkap Kelemahan ChatGPT dalam Merangkum Sains
Penelitian baru oleh jurnalis sains, diterbitkan pada 19 September 2025, mengungkap kekurangan signifikan dalam kemampuan ChatGPT untuk merangkum makalah ilmiah dengan akurat. Studi ini menguji AI pada ratusan abstrak, menemukan kesalahan sering dalam detail kunci dan interpretasi. Hal ini menimbulkan kekhawatiran tentang ketergantungan pada model bahasa besar untuk tugas akademik.
Pada 19 September 2025, laporan kolaboratif dari tim jurnalis sains dirilis, merinci analisis ekstensif kinerja ChatGPT dalam merangkum makalah ilmiah yang ditinjau sejawat. Proyek ini dimulai pada Juni 2025, melibatkan masukan dari para ahli di beberapa universitas, dan berakhir dengan temuan yang disajikan dalam konferensi pers virtual yang diselenggarakan oleh Society of Science Writers.
Garisan waktu dimulai dengan pemilihan 500 makalah ilmiah beragam dari bidang seperti biologi, fisika, dan kedokteran. Jurnalis meminta ChatGPT untuk merangkum abstrak ini pada Juli dan Agustus, membandingkan ringkasan AI dengan versi ahli manusia. Pada awal September, analisis data mengungkap pola ketidakakuratan, yang mengarah pada pengungkapan publik pada tanggal 19.
"ChatGPT sering menghasilkan detail yang tidak ada dalam teks asli, yang dapat menyesatkan peneliti," kata jurnalis utama Maria Gonzalez selama konferensi. Peserta lain, Dr. Alex Rivera, menambahkan, "Dalam satu kasus, AI membalikkan sebab-akibat dalam studi iklim, yang berpotensi menyimpangkan pemahaman publik." Kutipan ini menyoroti elemen manusia dalam kritik, berdasarkan perbandingan langsung.
Latar belakang ChatGPT berasal dari peluncurannya oleh OpenAI pada 2022, yang dengan cepat diadopsi untuk tugas seperti penulisan dan ringkasan. Namun, kekhawatiran tentang akurasi terus berlanjut, dengan studi sebelumnya mencatat 'halusinasi'—informasi yang dibuat-buat. Laporan baru ini membangun itu, fokus khusus pada literatur ilmiah, di mana presisi sangat penting di tengah peningkatan integrasi AI dalam akademi.
Implikasinya dalam pendidikan dan penelitian sangat dalam. Secara akademis, hal ini dapat mencegah ketergantungan berlebih pada alat AI, mendorong panggilan untuk data pelatihan yang lebih baik dan transparansi dari pengembang. Secara ekonomi, hal ini mempengaruhi industri teknologi, bernilai miliaran, dengan menyoroti kebutuhan perbaikan untuk mempertahankan kepercayaan. Dari segi kebijakan, hal ini dapat mempengaruhi peraturan AI dalam penerbitan ilmiah, dengan pedoman potensial dari badan seperti National Science Foundation. Saat AI berkembang, studi ini menekankan peran tak tergantikan pengawasan manusia dalam domain kompleks.
Meskipun ada kritik, pendukung berargumen bahwa pembaruan iteratif dapat mengatasi kekurangan ini. Laporan menyimpulkan dengan rekomendasi untuk alur kerja hibrida manusia-AI, menyarankan jalan ke depan di dunia yang semakin otomatis.