神经理性模型的非理性
计算与语言
2022-07-26 v2
摘要
神经理性模型因其在自然语言处理任务中的可解释预测而广受欢迎。在这些模型中，一个选择器会提取输入文本的片段（称为“理性依据”），并将这些片段传递给分类器进行预测。由于理性依据是分类器唯一可访问的信息，它被合理地定义为解释。这种描述是否无条件正确？在本文中，我们持相反观点，通过哲学视角和经验证据表明，理性模型可能不如预期的那样理性和可解释。我们呼吁对这些模型进行更严格、更全面的评估，以确保其确实达到可解释性的期望属性。代码可在 https://github.com/yimingz89/Neural-Rationale-Analysis 找到。
引用
@article{arxiv.2110.07550,
title = {The Irrationality of Neural Rationale Models},
author = {Yiming Zheng and Serena Booth and Julie Shah and Yilun Zhou},
journal= {arXiv preprint arXiv:2110.07550},
year = {2022}
}
备注
NAACL Workshop on Trustworthy Natural Language Processing (TrustNLP) 2022