Orang cenderung menggunakan bahasa yang kurang formal saat berinteraksi dengan chatbot AI dibandingkan dengan manusia, yang dapat mengurangi akurasi pemahaman AI terhadap niat pengguna. Peneliti di Amazon menemukan bahwa melatih AI pada percakapan seperti manusia menyoroti kesenjangan ini. Menyesuaikan gaya bahasa mungkin menjadi kunci untuk performa chatbot yang lebih baik.
Sebuah studi oleh Fulei Zhang dan Zhou Yu di Amazon mengungkapkan bahwa pengguna sering berkomunikasi dengan chatbot AI secara lebih kasual daripada dengan agen manusia. Dengan menganalisis percakapan, mereka menggunakan model Claude 3.5 Sonnet untuk memberi skor interaksi dan menemukan bahwa pertukaran manusia-ke-manusia 14,5 persen lebih sopan dan formal, 5,3 persen lebih lancar, dan 1,4 persen lebih beragam secara leksikal daripada dengan chatbot.
"Pengguna menyesuaikan gaya linguistik mereka dalam percakapan manusia-LLM, menghasilkan pesan yang lebih pendek, lebih langsung, kurang formal, dan lebih sederhana secara gramatikal," tulis para penulis dalam makalah mereka. Mereka menghubungkan ini dengan pandangan pengguna bahwa chatbot model bahasa besar (LLM) kurang sensitif secara sosial atau mampu interpretasi yang bernuansa.
Untuk mengeksplorasi dampaknya, Zhang dan Yu melatih model Mistral 7B pada 13.000 percakapan manusia-ke-manusia dunia nyata dan mengujinya pada 1.357 pesan yang dikirim ke chatbot AI. Model tersebut, yang dianotasi dengan niat pengguna dari daftar terbatas, kesulitan dalam memberi label niat secara akurat dalam interaksi chatbot karena gaya informal.
Upaya untuk menjembatani ini menggunakan Claude untuk penulisan ulang menghasilkan hasil campuran. Menulis ulang pesan ringkas menjadi prosa seperti manusia mengurangi akurasi sebesar 1,9 persen, penulisan ulang tumpul minimal sebesar 2,6 persen, dan versi formal yang diperkaya sebesar 1,8 persen. Namun, melatih Mistral pada penulisan ulang minimal dan diperkaya meningkatkan performa sebesar 2,9 persen.
Noah Giansiracusa di Universitas Bentley di Massachusetts menawarkan pandangan seimbang. "Temuan bahwa orang berkomunikasi berbeda dengan chatbot daripada dengan manusia lain disajikan secara menggoda sebagai kekurangan chatbot – tapi saya berpendapat bahwa itu bukan, bahwa itu baik ketika orang tahu mereka berbicara dengan bot dan menyesuaikan perilaku mereka sesuai," katanya. "Saya pikir itu lebih sehat daripada berusaha secara obsesif menghilangkan kesenjangan antara manusia dan bot."
Penelitian tersebut, yang dirinci dalam makalah di arXiv (DOI: 10.48550/arXiv.2510.02645), menyarankan bahwa baik pengguna harus mengadopsi bahasa yang lebih formal atau pelatihan AI harus lebih mengakomodasi informalitas untuk meningkatkan efektivitas chatbot.