Una de las características definitorias de la cognición social humana es la capacidad de inferir las creencias, intenciones, emociones y estados de conocimiento de otras personas, cuestión denominada como Teoría de la Mente (Theory of Mind – ToM -) en el mundo de la investigación psicológica. La ToM se considera una habilidad esencial que sustenta desde la comunicación interpersonal y la empatía hasta la toma de decisiones sociales complejas. Por ello, este ámbito ha sido durante décadas un foco de interés para la psicología del desarrollo, la psicología social y la psicología clínica. A este respecto, los recientes avances en los Grandes Modelos del Lenguaje (Large Language Models – LLMs -), especialmente en los sistemas basados en GPT, han generado un intenso debate sobre si estos modelos muestran capacidades genuinas de ToM o si simplemente reproducen patrones lingüísticos aprendidos.
Para abordar esta cuestión, Strachan y cols. (2024) llevaron a cabo una de las investigaciones más exhaustivas sobre ToM realizadas hasta la fecha en LLMs, comparando directamente su rendimiento con el de participantes humanos. En este estudio, publicado en la revista Nature, los investigadores compararon diversos LLMs como GPT-4, GPT-3.5 y LLaMA2-70B con 1.907 participantes humanos, utilizando pruebas psicológicas consolidadas, entre ellas tareas de falsas creencias, comprensión de la ironía, reconocimiento de intenciones indirectas y detección de “meteduras de pata” (faux pas).
¿Están los LLMs a la altura del razonamiento humano?
Strachan y cols. (2024) obtuvieron los siguientes resultados al comparar estos modelos:
- GPT-4 mostró un rendimiento igual o superior al humano en la mayoría de las tareas de ToM, incluyendo la comprensión de creencias, intenciones e ironía.
- GPT-3.5 presentó un rendimiento más modesto, aunque generalmente competente.
- Ambos modelos GPT obtuvieron peores resultados que los humanos en la detección de faux pas. Sin embargo, análisis posteriores sugirieron que este menor rendimiento reflejaba un estilo de razonamiento más cauteloso y no una falta de comprensión social.
- LLaMA2 obtuvo puntuaciones muy elevadas en las tareas de faux pas, aunque los autores concluyeron que ello parecía deberse a un sesgo de respuesta más que a una capacidad superior de razonamiento social.
- Los modelos GPT tendían a comprender correctamente las situaciones, pero mostraban desconfianza para llegar a conclusiones cuando la información era incompleta. En particular, GPT-4 adoptó una estrategia extremadamente conservadora, evitando realizar inferencias que no estuvieran explícitamente respaldadas por la información disponible.
Una oportunidad para fortalecer las herramientas basadas en LLMs y mejorar la “Teoría de la Mente” computacional
Los autores sugieren que los LLMs actuales pueden comportarse muy consistentemente con muchas formas de razonamiento relacionadas con la ToM humana. No obstante, dichos autores advierten que ofrecer respuestas similares a las humanas no implica necesariamente que estos sistemas posean una cognición equivalente. En este sentido, los LLMs podrían alcanzar respuestas correctas mediante mecanismos fundamentalmente distintos a los utilizados por los seres humanos.
Los hallazgos de este estudio ponen de manifiesto una distinción importante entre competencia – la capacidad computacional para generar inferencias adecuadas – y rendimiento – la forma en que dichas inferencias se expresan en situaciones concretas -. De esta forma, los modelos GPT podrían poseer de habilidades referidas a la ToM, aunque manifiesten patrones de respuesta diferentes a los humanos cuando se enfrentan a situaciones de incertidumbre.
Además, estos resultados podrían tener importantes implicaciones para la interacción entre humanos e IA, la psicología computacional y aplicaciones clínicas. De hecho, los LLMs podrían disponer ya de capacidades de razonamiento social lo suficientemente eficaces para numerosas aplicaciones conversacionales, lo que potenciaría su uso en ámbitos como la educación, la atención al cliente o la salud mental. Asimismo, este tipo de investigaciones contribuye al emergente campo de la psicología computacional (machine psychology) y, de manera especialmente relevante, podría favorecer el desarrollo de sistemas de apoyo a la toma de decisiones clínicas.
