具备学术智能的大语言模型未必具备社会智能
计算与语言
2024-03-12 v1 计算机与社会
摘要
大语言模型（LLM）的学术智能近期取得了显著进展，但其社会智能表现尚不明确。受既定的人类社会智能框架（特别是 Daniel Goleman 的社会智能理论）启发，我们开发了一种基于真实世界社交场景的标准化社会智能测试，以全面评估 LLM 的社会智能，称为情境社会智能评估（SESI）。我们在 SESI 上对 13 个近期流行且最先进的 LLM 智能体进行了广泛评估。结果表明，LLM 的社会智能仍有显著提升空间，表面化的友好性是导致错误的主要原因。此外，LLM 表现出的社会智能与学术智能之间存在较低的相关性，这表明对于 LLM 而言，社会智能不同于学术智能。另外，虽然观察到 LLM 无法“理解”什么是社会智能，但其社会智能与人类相似，受到社会因素的影响。
引用
@article{arxiv.2403.06591,
title = {Academically intelligent LLMs are not necessarily socially intelligent},
author = {Ruoxi Xu and Hongyu Lin and Xianpei Han and Le Sun and Yingfei Sun},
journal= {arXiv preprint arXiv:2403.06591},
year = {2024}
}