结合心理理论的计算语言习得
计算与语言
2023-03-03 v1 人工智能
摘要
与当前最先进的语言模型不同，幼儿通过与其周围环境和照料者的互动主动习得语言。一种被认为对语言学习至关重要的机制是推断社会环境中其他主体的心理状态的能力，Premack 与 Woodruff（1978）将其称为心理理论（Theory of Mind, ToM）。受 Rabinowitz 等人（2018）和 Zhu 等人（2021）实现的现代可操作 ToM 版本启发，我们构建了配备 ToM 的语言学习主体，并衡量其对学习过程的影响。我们通过为说话者主体提供一个内部听者模型来建模 ToM，该模型与说话者一同训练并用于重排潜在话语。我们在不同任务难度下开展实验，假设模型会习得更复杂的语言以适应更强的环境压力。我们发现，在图像指称游戏设定中，使用高权重 ToM 听者组件训练说话者能带来性能提升。我们还发现一些证据表明，在训练过程中增加任务难度会在评估中产生更流畅且更精确的话语。这表明将 ToM 以及儿童语言习得的其他洞见进一步纳入计算语言习得模型的潜在效用。
引用
@article{arxiv.2303.01502,
title = {Computational Language Acquisition with Theory of Mind},
author = {Andy Liu and Hao Zhu and Emmy Liu and Yonatan Bisk and Graham Neubig},
journal= {arXiv preprint arXiv:2303.01502},
year = {2023}
}
备注
9 pages, 3 figures. To be published in the 11th International Conference on Learning Representations, ICLR 2023, Conference Track Proceedings