探究自由形式理由说明的益处
计算与语言
2022-10-27 v2 人工智能
摘要
自由形式理由说明旨在通过提供可帮助理解模型决策的背景知识来辅助模型可解释性。在CoS-E与ECQA等流行数据集中，众包理由说明被提供给常识问答实例，但其效用仍缺乏充分研究。我们呈现人工研究表明，ECQA理由说明确实提供了理解决策所需的额外背景信息，而超过88%的CoS-E理由说明并未提供。受此发现启发，我们追问：自由形式理由说明所提供的额外上下文能否如同对人类用户一般惠及模型？我们通过改变训练期间理由说明的数量与质量，考察其作为额外监督来源的效用。在控制住理由说明泄露正确答案却不提供额外背景知识的实例后，我们发现训练时仅融入5%的理由说明，便可在推理阶段为CoS-E提升47.22%的模型性能、为ECQA提升57.14%。此外，我们还表明理由说明质量至关重要：相较于众包理由说明，T5生成的理由说明不仅为模型提供更弱的监督，且无助人类理解模型可解释性。
引用
@article{arxiv.2206.11083,
title = {Investigating the Benefits of Free-Form Rationales},
author = {Jiao Sun and Swabha Swayamdipta and Jonathan May and Xuezhe Ma},
journal= {arXiv preprint arXiv:2206.11083},
year = {2022}
}
备注
EMNLP 2022, Findings