关于问答中最小预测保持输入的可转移性
计算与语言
2021-03-26 v2
摘要
最近的工作（Feng等人，2018）证实了神经模型中存在短小、不可解释的输入片段，这些片段能产生高置信度和高准确率。我们将其称为最小预测保持输入（MPPI）。在问答的背景下，我们研究了MPPI存在的竞争性假设，包括神经模型的后验校准差、缺乏预训练以及“数据集偏差”（模型学习训练数据中的虚假、不可泛化的线索）。我们发现MPPI对随机训练种子、模型架构、预训练和训练领域具有令人困惑的不变性。MPPI在跨领域转移中表现出显著的可转移性，其性能远高于可比短查询。此外，对MPPI上的过度自信进行惩罚并不能改善泛化或对抗鲁棒性。这些结果表明MPPI的可解释性不足以表征这些模型的泛化能力。我们希望这项聚焦的研究能鼓励对人类可解释的示例分布之外的模型行为进行更系统的分析。
引用
@article{arxiv.2009.08070,
title = {On the Transferability of Minimal Prediction Preserving Inputs in Question Answering},
author = {Shayne Longpre and Yi Lu and Christopher DuBois},
journal= {arXiv preprint arXiv:2009.08070},
year = {2021}
}