论稠密检索中鲁棒性与有效性的缩放
信息检索
2025-06-02 v1
摘要
鲁棒性和有效性是开发用于真实世界应用的稠密检索模型的关键方面。已知两者之间存在权衡。最近的工作探讨了稠密检索中有效性的缩放定律，揭示了有效性与模型大小和数据之间的幂律关系。鲁棒性是否也遵循缩放定律？如果是，缩放能否同时改善鲁棒性和有效性，还是它们仍将处于权衡之中？为了回答这些问题，我们进行了全面的实验研究。我们发现：(i) 鲁棒性，包括分布外鲁棒性和对抗鲁棒性，同样遵循缩放定律。(ii) 鲁棒性和有效性表现出不同的缩放模式，导致在同时改善两者时产生显著的资源成本。鉴于这些发现，我们将注意力转向除模型大小和数据大小之外影响模型性能的第三个因素，即优化策略。我们发现：(i) 通过拟合不同的优化策略，鲁棒性和有效性的联合性能描绘出一条 Pareto 前沿。(ii) 当优化策略偏离 Pareto 效率时，联合性能在次优方向上缩放。(iii) 通过调整优化权重以拟合 Pareto 效率，我们可以实现 Pareto 训练，此时联合性能的缩放变得最为高效。即使不需要额外资源，Pareto 训练的性能也 comparable 于在过度优先考虑鲁棒性或有效性的优化策略下将资源缩放数倍的性能。最后，我们证明了我们的发现有助于在真实世界应用中部署稠密检索模型，使其能够高效缩放并平衡鲁棒性和有效性。
引用
@article{arxiv.2505.24279,
title = {On the Scaling of Robustness and Effectiveness in Dense Retrieval},
author = {Yu-An Liu and Ruqing Zhang and Jiafeng Guo and Maarten de Rijke and Yixing Fan and Xueqi Cheng},
journal= {arXiv preprint arXiv:2505.24279},
year = {2025}
}