利用跃迁负样本降低稠密检索训练中的灾难性遗忘
计算与语言
2022-11-01 v1
摘要
在本文中，我们研究了标准稠密检索训练中的不稳定性，该训练在模型训练与使用正在训练的模型进行难负样本选择之间迭代。我们揭示了训练不稳定性背后的灾难性遗忘现象，即模型在训练迭代中学习和遗忘不同的负样本组。随后我们提出 ANCE-Tele，它累积来自过去迭代的动量负样本，并使用前瞻负样本近似未来迭代，作为时间轴上的“跃迁”来平滑学习过程。在网页搜索和开放域问答（OpenQA）上，ANCE-Tele 优于先前类似规模的 state-of-the-art 系统，消除对稀疏检索负样本的依赖，并与使用显著更多（50倍）参数的系统具有竞争力。我们的分析表明，跃迁负样本减少了稠密检索训练中的灾难性遗忘并提高了收敛速度。我们的代码可在 https://github.com/OpenMatch/ANCE-Tele 获取。
引用
@article{arxiv.2210.17167,
title = {Reduce Catastrophic Forgetting of Dense Retrieval Training with Teleportation Negatives},
author = {Si Sun and Chenyan Xiong and Yue Yu and Arnold Overwijk and Zhiyuan Liu and Jie Bao},
journal= {arXiv preprint arXiv:2210.17167},
year = {2022}
}
备注
Accepted to EMNLP 2022 main conference