面向神经检索的 FGSM 对抗训练研究
信息检索
2023-01-26 v1 计算与语言
摘要
与基于词项的方法相比,神经检索模型在过去几年中取得了显著的效果提升。然而,这些模型在面对拼写错误、分布偏移或恶意攻击时可能较为脆弱。例如,若干近期论文表明此类变化会严重影响模型性能,并试图训练更具韧性的模型。常规方法包括同义词替换或拼写错误注入(作为数据增强)以及使用更鲁棒的 tokenizer(CharacterBERT、BPE-dropout)。为进一步补充相关文献,我们在本文中研究将对抗训练作为解决该鲁棒性问题的另一种可行方案。我们的比较涵盖两类主要的基于 BERT 的神经检索器,即稠密与稀疏型,并包含或不包含蒸馏技术。随后我们证明,最简单的对抗训练技术之一——快速梯度符号法(Fast Gradient Sign Method, FGSM)——能够提升第一阶段排序器的鲁棒性与有效性。特别地,FGSM 在域内与域外分布上,以及针对含拼写错误的查询,均为多个神经检索器提升了模型性能。
引用
@article{arxiv.2301.10576,
title = {A Study on FGSM Adversarial Training for Neural Retrieval},
author = {Simon Lupart and Stéphane Clinchant},
journal= {arXiv preprint arXiv:2301.10576},
year = {2023}
}
备注
Accepted at ECIR 2023