面向分布偏移的鲁棒问答：基于测试时自适应的实证研究
计算与语言
2023-02-10 v1
摘要
已部署的问答（QA）模型在测试数据相对于训练数据存在分布偏移时很容易失效。鲁棒性微调（RT）方法已被广泛研究，以在模型部署前增强模型对分布偏移的鲁棒性。然而，我们能否在部署后改进模型？为回答这一问题，我们评估了测试时自适应（TTA）在部署后改进模型的效果。我们首先引入 COLDQA，一个针对文本损坏以及语言和领域变化下鲁棒 QA 的统一评测基准。随后我们在 COLDQA 上评估已有的 TTA 方法，并将其与 RT 方法进行比较。我们还提出了一种称为在线模仿学习（OIL）的新颖 TTA 方法。通过大量实验，我们发现 TTA 与 RT 方法相当，且在 RT 之后应用 TTA 可显著提升在 COLDQA 上的性能。我们提出的 OIL 改进了 TTA，使其对超参数的变化以及随时间变化的测试分布更具鲁棒性。
引用
@article{arxiv.2302.04618,
title = {Robust Question Answering against Distribution Shifts with Test-Time Adaptation: An Empirical Study},
author = {Hai Ye and Yuyang Ding and Juntao Li and Hwee Tou Ng},
journal= {arXiv preprint arXiv:2302.04618},
year = {2023}
}
备注
Findings of EMNLP 2022