Las personas tienden a usar un lenguaje menos formal al interactuar con chatbots de IA en comparación con humanos, lo que puede reducir la precisión en la comprensión de la intención del usuario por parte de la IA. Investigadores de Amazon descubrieron que entrenar a la IA en conversaciones similares a las humanas resalta esta brecha. Adaptar los estilos de lenguaje puede ser clave para un mejor rendimiento de los chatbots.
Un estudio de Fulei Zhang y Zhou Yu en Amazon revela que los usuarios a menudo se comunican con chatbots de IA de manera más casual que con agentes humanos. Al analizar conversaciones, utilizaron el modelo Claude 3.5 Sonnet para puntuar interacciones y descubrieron que los intercambios de humano a humano eran un 14,5 por ciento más educados y formales, un 5,3 por ciento más fluidos y un 1,4 por ciento más diversos léxicamente que aquellos con chatbots.
"Los usuarios adaptan su estilo lingüístico en conversaciones humano-LLM, produciendo mensajes que son más cortos, más directos, menos formales y gramaticalmente más simples", escriben los autores en su artículo. Atribuyen esto a que los usuarios ven a los chatbots de modelos de lenguaje grandes (LLM) como menos sensibles socialmente o capaces de interpretaciones matizadas.
Para explorar el impacto, Zhang y Yu entrenaron el modelo Mistral 7B con 13.000 conversaciones reales de humano a humano y lo probaron con 1.357 mensajes enviados a chatbots de IA. El modelo, anotado con intenciones de usuario de una lista limitada, tuvo dificultades para etiquetar con precisión las intenciones en interacciones con chatbots debido al estilo informal.
Los intentos de cerrar esta brecha usando Claude para reescrituras arrojaron resultados mixtos. Reescribir mensajes concisos en prosa similar a la humana redujo la precisión en un 1,9 por ciento, reescrituras mínimas y directas en un 2,6 por ciento, y versiones formales enriquecidas en un 1,8 por ciento. Sin embargo, entrenar a Mistral con reescrituras mínimas y enriquecidas mejoró el rendimiento en un 2,9 por ciento.
Noah Giansiracusa de la Universidad Bentley en Massachusetts ofrece una visión equilibrada. "El hallazgo de que las personas se comunican de manera diferente con los chatbots que con otros humanos se presenta tentadoramente como una deficiencia del chatbot, pero yo argumentaría que no lo es, que es bueno cuando las personas saben que están hablando con bots y adaptan su comportamiento en consecuencia", dice. "Creo que eso es más saludable que obsesionarse tratando de eliminar la brecha entre humanos y bots."
La investigación, detallada en un artículo en arXiv (DOI: 10.48550/arXiv.2510.02645), sugiere que ya sea que los usuarios adopten un lenguaje más formal o que el entrenamiento de la IA se adapte mejor a la informalidad para mejorar la efectividad de los chatbots.