SOTOPIA-$\pi$：社会智能语言体的交互式学习
计算与语言
2024-04-29 v3
摘要
人类通过模仿和社会互动来学习社交技能。现有关于构建语言体的研究在很大程度上忽视了这一社会学习过程。受此空白启发，我们提出了一种交互式学习方法 SOTOPIA-，旨在提升语言体的社会智能。该方法利用行为克隆和基于大语言模型（LLM）评分的过滤后社会交互数据进行自我强化训练。我们展示了我们的训练方法使一个7B的LLM达到了专家模型（基于GPT-4的智能体）的社会目标完成能力，同时提升了语言体的安全性，并保持了在MMLU基准测试上的通用问答能力。我们还发现，这种训练范式揭示了基于LLM评估社会智能的一些困难：基于LLM的评估器高估了专门为社会交互训练的语言体的能力。
引用
@article{arxiv.2403.08715,
title = {SOTOPIA-$\pi$: Interactive Learning of Socially Intelligent Language Agents},
author = {Ruiyi Wang and Haofei Yu and Wenxin Zhang and Zhengyang Qi and Maarten Sap and Graham Neubig and Yonatan Bisk and Hao Zhu},
journal= {arXiv preprint arXiv:2403.08715},
year = {2024}
}