数量即力量：通过每个样本四个对抗句子的微调实现鲁棒阅读理解
计算与语言
2024-01-19 v1
摘要
最近的模型在使用F1分数评估阅读理解任务的斯坦福问答数据集上达到了人类水平的表现。然而，教会机器理解文本在一般情况下尚未解决。过去的研究表明，通过在上下文段落中附加一个对抗句子，阅读理解模型的F1分数几乎下降一半。在本文中，我使用新模型ELECTRA-Small复现了过去的对抗研究，并证明新模型的F1分数从83.9%下降到29.2%。为了提高ELECTRA-Small对此攻击的抵抗力，我在SQuAD v1.1训练样本上对模型进行微调，每个样本的上下文段落中附加了1到5个对抗句子。与过去的研究一样，我发现仅用一个对抗句子微调的模型在评估数据集上泛化不佳。然而，当使用四个或五个对抗句子微调时，模型在大多数评估数据集上（附加和前置多个对抗句子）的F1分数超过70%。结果表明，只要有足够的样本，我们可以使模型对对抗攻击具有鲁棒性。
引用
@article{arxiv.2401.10091,
title = {Power in Numbers: Robust reading comprehension by finetuning with four adversarial sentences per example},
author = {Ariel Marcus},
journal= {arXiv preprint arXiv:2401.10091},
year = {2024}
}