对大幅扰动输入上置信预测施加惩罚并不能改善问答的分布外泛化
计算与语言
2022-11-30 v1
摘要
问答（QA）模型被证明对输入的大幅扰动不敏感；即，即使给定人类无法正确推导出答案的大幅扰动输入，它们也能做出正确且置信的预测。此外，QA 模型无法泛化到其他领域和对抗测试集，而人类保持高准确率。基于这些观察，我们假设 QA 模型未使用人类阅读所需的预期特征，而是依赖虚假特征，导致泛化能力缺失。因此，我们尝试回答以下问题：若对 QA 模型在各种扰动类型上的过度置信预测加以惩罚，分布外（OOD）泛化是否会改善？为防止模型对扰动输入做出置信预测，我们首先沿用现有研究，最大化扰动输入的输出概率熵。然而，我们发现对某一扰动类型训练得敏感的 QA 模型往往对未见扰动类型不敏感。因此，我们同时最大化四种扰动类型（即词级与句级打乱及删除）的熵，以进一步缩小模型与人类间的差距。与预期相反，尽管模型对四类扰动变得敏感，我们发现 OOD 泛化并未改善。而且，熵最大化后 OOD 泛化有时反而下降。对大幅扰动输入做出不置信预测本身可能有益于获得人类信任。然而，我们的负面结果表明研究者应关注熵最大化的副作用。
引用
@article{arxiv.2211.16093,
title = {Penalizing Confident Predictions on Largely Perturbed Inputs Does Not Improve Out-of-Distribution Generalization in Question Answering},
author = {Kazutoshi Shinoda and Saku Sugawara and Akiko Aizawa},
journal= {arXiv preprint arXiv:2211.16093},
year = {2022}
}
备注
Accepted to the KnowledgeNLP workshop at AAAI 2023