面向内存受限稠密检索器的梯度累积方法
信息检索
2024-11-22 v3
摘要
InfoNCE损失常用于信息检索任务中的稠密检索器训练。人们已知，大批量训练InfoNCE损失能够实现稳定且有效的训练，这需要显著的硬件资源。由于大批量的依赖，稠密检索器在应用和研究方面存在瓶颈。最近，为解决硬件瓶颈，广泛采用内存降低方法，通过分解前向和反向传播或使用内存库来解决。然而，当前方法仍存在训练缓慢和不稳定的问题。为此，我们提出了Contrastive Accumulation（ContAccum），一种用于稠密检索器训练的稳定且高效的内存降低方法，该方法采用双内存库结构来利用先前生成的查询和文档表示。实验在广泛使用的五个信息检索数据集上表明，ContAccum不仅超越了现有的内存降低方法，还在高资源场景下表现出色。此外，理论分析和实验结果确认，ContAccum在当前内存库利用方法的双编码器训练中提供了更稳定的性能。
引用
@article{arxiv.2406.12356,
title = {A Gradient Accumulation Method for Dense Retriever under Memory Constraint},
author = {Jaehee Kim and Yukyung Lee and Pilsung Kang},
journal= {arXiv preprint arXiv:2406.12356},
year = {2024}
}