基于对话式协作计划获取中的 Theory of Mind 模型局限性研究
人工智能
2024-05-30 v2
摘要
近期关于对话式协作计划获取(CPA)的工作表明,Theory of Mind(ToM)建模可改善在技能和知识不对称的情境下进行缺失知识预测。尽管 ToM 被认为对有效协作至关重要,但其在这一新任务中的真实影响仍未得到充分探索。通过将计划表示为图并利用任务特定约束,我们展示了,当预测自身缺失知识时,CPA 的性能几乎翻倍,而 ToM 建模带来的改进则逐渐减小。这一现象即使在评估现有基线方法时也持续存在。为更好地理解 ToM 在 CPA 中的相关性,我们报告了具备 ToM 特征与无 ToM 特征模型的原则性性能比较。不同模型和消融实验的结果一致表明,所学到的 ToM 特征确实更可能反映数据中潜在模式,而且与 ToM 无明显关联。这一发现呼吁对 ToM 在 CPA 及其以外的作用进行更深入的理解,以及开发新的方法来建模和评估计算协作主体的心理状态。
引用
@article{arxiv.2405.12621,
title = {Limits of Theory of Mind Modelling in Dialogue-Based Collaborative Plan Acquisition},
author = {Matteo Bortoletto and Constantin Ruhdorfer and Adnen Abdessaied and Lei Shi and Andreas Bulling},
journal= {arXiv preprint arXiv:2405.12621},
year = {2024}
}
备注
ACL 2024