迈向鲁棒的抽取式问答模型：重新思考训练方法
计算与语言
2024-10-01 v1 人工智能
摘要
本文提出了一种新颖的训练方法，以提高抽取式问答（EQA）模型的鲁棒性。先前的研究表明，当在包含不可回答问题的EQA数据集上训练时，现有模型在分布偏移和对抗攻击下表现出显著的鲁棒性不足。尽管如此，在EQA训练数据集中包含不可回答问题对于确保现实世界的可靠性至关重要。我们提出的训练方法包括一个针对EQA问题的新颖损失函数，并挑战了许多EQA数据集中存在的一个隐含假设。使用我们的方法训练的模型保持了域内性能，同时在域外数据集上取得了显著改进。这导致所有测试集上的总体F1分数提高了5.7。此外，我们的模型对两种类型的对抗攻击表现出显著增强的鲁棒性，性能下降仅为默认模型的三分之一左右。
引用
@article{arxiv.2409.19766,
title = {Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology},
author = {Son Quoc Tran and Matt Kretchmar},
journal= {arXiv preprint arXiv:2409.19766},
year = {2024}
}
备注
EMNLP 2024 Findings