关注语言模型心智理论的缺失：一种即插即用的多角色信念追踪器
计算与语言
2023-06-02 v1 人工智能
机器学习
摘要
心智理论（Theory of Mind, ToM）——推理他人心理状态的能力——是我们社会智能的关键要素。然而，尽管大规模神经语言模型的性能愈发令人印象深刻，它们开箱即用仍缺乏基本的心智理论能力。我们认为，由于该现象固有的符号性与隐式性，单纯扩大模型规模无法赋予其心智理论，转而研究另一种可能：我们能否设计一种解码时算法，在无显式监督的情况下增强现成神经语言模型的心智理论？我们提出 SymbolicToM，一种即插即用的方法，通过显式符号表示来推理阅读理解任务中多个角色的信念状态。更具体地，我们的方法追踪每个实体的信念、它们对他者信念的估计以及更高阶的推理，全部通过图式表示完成，从而实现比以往方法更精确且可解释的推理。在知名 ToMi 基准（Le et al., 2019）上的实证结果表明，SymbolicToM 在零样本设定下显著增强了现成神经网络的心智理论，同时相比有监督基线展现出稳健的分布外性能。我们的工作也揭示了现有心智理论基准中的伪模式，强调了分布外评估及不过拟合特定数据集的方法的重要性。
引用
@article{arxiv.2306.00924,
title = {Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker},
author = {Melanie Sclar and Sachin Kumar and Peter West and Alane Suhr and Yejin Choi and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:2306.00924},
year = {2023}
}