你为何如此认为？在无监督下探索忠实的句子级依据
计算与语言
2020-10-08 v1
摘要
评估模型预测的可信度对于区分“因正确理由而正确”与“因错误理由而正确”至关重要。识别决定目标标签的文本片段（称为忠实依据）通常依赖于流水线方法或强化学习。然而，此类方法要么需要监督因而要对依据进行昂贵标注，要么采用不可微模型。我们提出一种可微训练框架，仅通过对目标任务的监督来构建在句子级输出忠实依据的模型。为此，我们的模型基于每个依据单独解决任务，并学习将高分赋给那些最好地解决任务的依据。我们在三个不同数据集上的评估显示，与标准 BERT 黑箱相比结果具有竞争力，且在两种情况下超越流水线对应模型的表现。我们进一步利用这些模型的透明决策过程，通过施加直接监督来优先选择正确依据，从而提升依据级上的性能。
引用
@article{arxiv.2010.03384,
title = {Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision},
author = {Max Glockner and Ivan Habernal and Iryna Gurevych},
journal= {arXiv preprint arXiv:2010.03384},
year = {2020}
}
备注
EMNLP Findings 2020