分布外设置下解释方法的实证研究
计算与语言
2022-03-02 v1
摘要
自然语言处理近期的工作集中于开发提取忠实解释的方法，要么通过识别输入中最重要的词元（即事后解释），要么通过设计固有忠实模型，其先选择最重要的词元再用它们预测正确标签（即先选择后预测模型）。目前，这些方法主要在域内设置下评估。然而，关于事后解释和固有忠实模型在分布外设置下的表现知之甚少。在本文中，我们进行了一项广泛的实证研究，考察：（1）由五种特征归因方法生成的事后解释的分布外忠实性；以及（2）两个固有忠实模型在六个数据集上的分布外性能。与我们的预期相反，结果表明在许多情况下，由充分性和完备性度量的分布外事后解释忠实性高于域内。我们发现这具有误导性，并建议使用随机基线作为评估事后解释忠实性的标尺。我们的发现还表明，先选择后预测模型在分布外设置下展现出与全文训练模型可比的预测性能。
引用
@article{arxiv.2203.00056,
title = {An Empirical Study on Explanations in Out-of-Domain Settings},
author = {George Chrysostomou and Nikolaos Aletras},
journal= {arXiv preprint arXiv:2203.00056},
year = {2022}
}
备注
ACL2022 Pre-print