域偏移下的选择性问答
计算与语言
2020-06-18 v1 机器学习
摘要
为避免给出错误答案，问答（QA）模型需要知晓何时放弃回答。此外，用户提出的问题常常偏离模型的训练数据，使得错误更可能发生，因而放弃回答更为关键。在本工作中，我们提出域偏移下的选择性问答设定：QA 模型在域内与域外数据的混合上接受测试，必须在保持高准确率的同时尽可能多地回答问题（即不放弃回答）。仅基于模型 softmax 概率的放弃策略表现不佳，因为模型在域外输入上过于自信。相反，我们训练一个校准器来识别 QA 模型出错的输入，并在预测到可能出错时放弃回答。关键在于，校准器从观察模型在域外数据上的行为中获益，即便该域外数据与测试数据来自不同领域。我们将该方法与基于 SQuAD 训练的 QA 模型结合，并在 SQuAD 与另外五个 QA 数据集的混合上评估。我们的方法回答了 56% 的问题，同时保持 80% 的准确率；相比之下，直接使用模型概率在 80% 准确率下仅回答了 48%。
引用
@article{arxiv.2006.09462,
title = {Selective Question Answering under Domain Shift},
author = {Amita Kamath and Robin Jia and Percy Liang},
journal= {arXiv preprint arXiv:2006.09462},
year = {2020}
}
备注
ACL 2020