Les gens ont tendance à utiliser un langage moins formel lorsqu'ils interagissent avec des chatbots IA par rapport aux humains, ce qui peut réduire la précision de la compréhension de l'intention de l'utilisateur par l'IA. Des chercheurs chez Amazon ont découvert que l'entraînement de l'IA sur des conversations similaires à celles des humains met en évidence cette lacune. Adapter les styles de langage pourrait être la clé d'une meilleure performance des chatbots.
Une étude de Fulei Zhang et Zhou Yu chez Amazon révèle que les utilisateurs communiquent souvent de manière plus décontractée avec les chatbots IA qu'avec des agents humains. En analysant les conversations, ils ont utilisé le modèle Claude 3.5 Sonnet pour évaluer les interactions et ont découvert que les échanges humain-à-humain étaient 14,5 pour cent plus polis et formels, 5,3 pour cent plus fluides et 1,4 pour cent plus diversifiés lexicalement que ceux avec les chatbots.
« Les utilisateurs adaptent leur style linguistique dans les conversations humain-LLM, produisant des messages plus courts, plus directs, moins formels et grammaticalement plus simples », écrivent les auteurs dans leur article. Ils attribuent cela à la perception des utilisateurs que les chatbots de modèles de langage large (LLM) sont moins sensibles socialement ou capables d'interprétations nuancées.
Pour explorer l'impact, Zhang et Yu ont entraîné le modèle Mistral 7B sur 13 000 conversations réelles humain-à-humain et l'ont testé sur 1 357 messages envoyés à des chatbots IA. Le modèle, annoté avec les intentions des utilisateurs à partir d'une liste limitée, a eu du mal à étiqueter précisément les intentions dans les interactions avec les chatbots en raison du style informel.
Les tentatives de combler cette lacune en utilisant Claude pour des réécritures ont donné des résultats mitigés. Réécrire des messages concis en prose similaire à celle des humains a réduit la précision de 1,9 pour cent, des réécritures minimales et directes de 2,6 pour cent, et des versions formelles enrichies de 1,8 pour cent. Cependant, entraîner Mistral sur des réécritures minimales et enrichies a amélioré les performances de 2,9 pour cent.
Noah Giansiracusa à l'Université Bentley dans le Massachusetts offre une perspective équilibrée. « La découverte que les gens communiquent différemment avec les chatbots qu'avec d'autres humains est tentante à encadrer comme un défaut du chatbot – mais je dirais que ce n'est pas le cas, que c'est bien quand les gens savent qu'ils parlent à des bots et adaptent leur comportement en conséquence », dit-il. « Je pense que c'est plus sain que d'essayer obsédément d'éliminer l'écart entre humain et bot. »
La recherche, détaillée dans un article sur arXiv (DOI : 10.48550/arXiv.2510.02645), suggère que soit les utilisateurs devraient adopter un langage plus formel, soit l'entraînement de l'IA doit mieux accommoder l'informalité pour améliorer l'efficacité des chatbots.