Människor tenderar att använda mindre formellt språk när de interagerar med AI-chattbots jämfört med människor, vilket kan minska AI:ns noggrannhet i att förstå användarens avsikt. Forskare på Amazon fann att träning av AI på samtal som liknar mänskliga samtal belyser denna lucka. Att anpassa språkstilar kan vara nyckeln till bättre chatbotprestanda.
En studie av Fulei Zhang och Zhou Yu på Amazon visar att användare ofta kommunicerar med AI-chattbots på ett mer vardagligt sätt än med mänskliga agenter. Genom att analysera samtal använde de Claude 3.5 Sonnet-modellen för att bedöma interaktioner och upptäckte att mänskliga samtal var 14,5 procent mer artiga och formella, 5,3 procent mer flytande och 1,4 procent mer lexikaliskt varierade än de med chatbots.
"Användare anpassar sin språkliga stil i mänskliga-LLM-samtal och producerar meddelanden som är kortare, mer direkta, mindre formella och grammatiskt enklare," skriver författarna i sin artikel. De tillskriver detta att användare ser stora språkmodeller (LLM)-chattbots som mindre socialt känsliga eller kapabla till nyanserad tolkning.
För att undersöka effekten tränade Zhang och Yu Mistral 7B-modellen på 13 000 verkliga mänskliga samtal och testade den på 1 357 meddelanden skickade till AI-chattbots. Modellen, annoterad med användaravsikter från en begränsad lista, hade svårt att korrekt märka avsikter i chatbot-interaktioner på grund av den informella stilen.
Försök att överbrygga detta med Claude för omskrivningar gav blandade resultat. Att omskriva koncisa meddelanden till människolik prosa minskade noggrannheten med 1,9 procent, minimala trubbiga omskrivningar med 2,6 procent och berikade formella versioner med 1,8 procent. Dock förbättrade träning av Mistral på både minimala och berikade omskrivningar prestandan med 2,9 procent.
Noah Giansiracusa vid Bentley University i Massachusetts erbjuder en balanserad syn. "Upptäckten att människor kommunicerar annorlunda med chatbots än med andra människor framställs lockande som en brist hos chattboten – men jag skulle hävda att det inte är det, att det är bra när människor vet att de pratar med bots och anpassar sitt beteende därefter," säger han. "Jag tycker att det är hälsosammare än att obsessivt försöka eliminera gapet mellan människa och bot."
Forskningen, detaljerad i en artikel på arXiv (DOI: 10.48550/arXiv.2510.02645), föreslår att antingen användare bör anta mer formellt språk eller att AI-träning måste bättre hantera informalitet för att förbättra chatbotens effektivitet.