As pessoas tendem a usar uma linguagem menos formal ao interagir com chatbots de IA em comparação com humanos, o que pode reduzir a precisão da compreensão da intenção do usuário pela IA. Pesquisadores da Amazon descobriram que treinar IA em conversas semelhantes às humanas destaca essa lacuna. Adaptar estilos de linguagem pode ser a chave para um melhor desempenho de chatbots.
Um estudo de Fulei Zhang e Zhou Yu na Amazon revela que os usuários frequentemente se comunicam com chatbots de IA de maneira mais casual do que com agentes humanos. Ao analisar conversas, eles usaram o modelo Claude 3.5 Sonnet para pontuar interações e descobriram que trocas de humano para humano eram 14,5 por cento mais educadas e formais, 5,3 por cento mais fluidas e 1,4 por cento mais diversificadas lexicalmente do que aquelas com chatbots.
"Os usuários adaptam seu estilo linguístico em conversas humano-LLM, produzindo mensagens que são mais curtas, mais diretas, menos formais e gramaticalmente mais simples," escrevem os autores em seu artigo. Eles atribuem isso à visão dos usuários de que chatbots de modelos de linguagem grandes (LLM) são menos sensíveis socialmente ou capazes de interpretação nuançada.
Para explorar o impacto, Zhang e Yu treinaram o modelo Mistral 7B em 13.000 conversas reais de humano para humano e o testaram em 1.357 mensagens enviadas para chatbots de IA. O modelo, anotado com intenções de usuário de uma lista limitada, teve dificuldade em rotular intenções com precisão em interações com chatbots devido ao estilo informal.
Tentativas de preencher essa lacuna usando Claude para reescritas produziram resultados mistos. Reescrever mensagens concisas em prosa semelhante à humana reduziu a precisão em 1,9 por cento, reescritas mínimas e diretas em 2,6 por cento, e versões formais enriquecidas em 1,8 por cento. No entanto, treinar o Mistral em reescritas mínimas e enriquecidas melhorou o desempenho em 2,9 por cento.
Noah Giansiracusa na Universidade Bentley em Massachusetts oferece uma visão equilibrada. "A descoberta de que as pessoas se comunicam de forma diferente com chatbots do que com outros humanos é tentadoramente enquadrada como uma falha do chatbot – mas eu argumentaria que não é, que é bom quando as pessoas sabem que estão falando com bots e adaptam seu comportamento de acordo," diz ele. "Acho que isso é mais saudável do que tentar obsessivamente eliminar a lacuna entre humano e bot."
A pesquisa, detalhada em um artigo no arXiv (DOI: 10.48550/arXiv.2510.02645), sugere que os usuários devem adotar uma linguagem mais formal ou o treinamento de IA deve acomodar melhor a informalidade para aprimorar a efetividade dos chatbots.