多跳密集检索的动量后验正则化
计算与语言
2025-03-03 v1 机器学习
摘要
多跳问答（QA）通常需要顺序检索（multi-hop retrieval），即每一步检索都基于前一步检索的信息来检索缺失的知识。为促进更有效的检索，我们旨在从后验检索（后验检索）中蒸馏知识，该后验检索拥有类似答案的后验信息，而在推断时使用的先验检索则没有此类信息。然而，当前在单次检索中进行的知识蒸馏方法对于多跳 QA 无效，原因有两个：1) 后验信息常被定义为响应（即答案），而这可能不清晰地与查询关联，除非经过中间检索；2) 先验检索与后验检索之间的知识鸿沟使得现有的蒸馏方法不稳定，甚至导致性能下降。因此，我们提出了 MoPo（动量后验正则化），包含两个关键创新：1) 定义每一步的后验信息为来自前一步和当前步骤黄金知识的查询聚焦摘要；2) 我们发展了有效的训练策略，通过动量移动平均方法更新后验检索与先验检索，实现更平滑且更有效的蒸馏。在 HotpotQA 和 StrategyQA 上的实验表明，MoPo 在检索和下游 QA 任务中均优于现有基线方法。
关键词
引用
@article{arxiv.2502.20399,
title = {Momentum Posterior Regularization for Multi-hop Dense Retrieval},
author = {Zehua Xia and Yuyang Wu and Yiyun Xia and Cam-Tu Nguyen},
journal= {arXiv preprint arXiv:2502.20399},
year = {2025}
}
备注
Accepted by COLING 2025