从启发式到解析式：面向连贯物理常识推理的认知动机策略
计算与语言
2023-10-31 v1 人工智能
摘要
预训练语言模型（PLMs）在各种语言任务中表现出令人印象深刻的性能。然而，它们容易产生虚假相关性，并经常生成虚幻信息。在实际应用中，PLMs 应以形式化的连贯推理链来论证决策，但这一挑战仍未被充分探索。认知心理学理论认为，人类能够利用快速直觉的启发式思维基于过往经验做决策，然后通过较慢且审慎的解析式推理将决策合理化。我们将这些相互关联的双过程融入 PLMs 的微调与上下文学习中，将其应用于两个需要连贯物理常识推理的语言理解任务。我们展示了所提出的启发式-解析式推理（HAR）策略大幅提升了模型决策合理化的连贯性，在分层直觉物理推理（TRIP）上取得了最先进结果。我们还发现，这种连贯性的提升是每一步推理中对相关语言上下文更忠实关注的直接结果。我们的发现表明，类人推理策略能有效提升 PLM 推理的连贯性与可靠性。
引用
@article{arxiv.2310.18364,
title = {From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning},
author = {Zheyuan Zhang and Shane Storks and Fengyuan Hu and Sungryull Sohn and Moontae Lee and Honglak Lee and Joyce Chai},
journal= {arXiv preprint arXiv:2310.18364},
year = {2023}
}
备注
EMNLP 2023 Main Conference