人々はAIチャットボットとのやり取りで人間との比較でフォーマルでない言語を傾向的に使用し、これによりAIのユーザー意図理解の精度が低下する可能性がある。アマゾンの研究者らは、人間らしい会話でAIを訓練するとこのギャップが浮き彫りになることを発見した。言語スタイルの適応がチャットボットの性能向上の鍵となるかもしれない。
アマゾンのFulei ZhangとZhou Yuによる研究は、ユーザーがAIチャットボットと人間のエージェントと比較してよりカジュアルな方法でコミュニケーションを取ることが多いことを明らかにした。会話を分析し、Claude 3.5 Sonnetモデルを使用してインタラクションをスコアリングしたところ、人間対人間の交流はチャットボットとの交流よりも14.5パーセントより丁寧でフォーマル、5.3パーセントより流暢、1.4パーセントより語彙的に多様であることがわかった。
「ユーザーは人間-LLM会話で言語スタイルを適応させ、より短く、より直接的で、フォーマルでなく、文法的に単純なメッセージを生成する」と著者らは論文に書いている。彼らはこれを、ユーザーが大規模言語モデル（LLM）チャットボットを社会的感受性が低く、ニュアンスのある解釈ができないと見なしているためだとしている。
影響を探るため、ZhangとYuは13,000件の実世界の人間対人間の会話をMistral 7Bモデルで訓練し、AIチャットボットに送信された1,357件のメッセージでテストした。限られたリストからのユーザー意図で注釈付けられたモデルは、非公式なスタイルのため、チャットボットインタラクションでの意図を正確にラベル付けするのに苦労した。
Claudeを使った書き直しでこのギャップを埋めようとする試みは混合結果を生んだ。簡潔なメッセージを人間らしい散文に書き直すと精度が1.9パーセント低下、最小限の率直な書き直しで2.6パーセント、豊かなフォーマル版で1.8パーセント低下した。しかし、最小限と豊かな書き直しの両方でMistralを訓練すると性能が2.9パーセント向上した。
マサチューセッツ州のベントレー大学のNoah Giansiracusaはバランスの取れた見解を提供する。「人々がチャットボットと他の人間と異なるコミュニケーションを取るという発見は、チャットボットの欠点として誘惑的に枠付けられているが、私はそうではないと主張する。人々がボットと話していることを知り、それに応じて行動を適応させるのは良いことだ」と彼は言う。「人間とボットの間のギャップを執拗に排除しようとするよりも、それが健康的だと思う。」
arXivの論文（DOI: 10.48550/arXiv.2510.02645）に詳述されたこの研究は、ユーザーがよりフォーマルな言語を採用するか、AI訓練が非公式さをより良く対応させるか、どちらかでチャットボットの有効性を高めることを示唆している。