检索系统的多阶段调优与指标评估MST-R
信息检索
2024-12-16 v1 机器学习
摘要
监管文件包含细腻的术语和专业语义。FRAG系统：使用预训练(或冻结)组件的冻结检索增强生成器面临检索和回答性能的挑战。我们提出一个采用多阶段调优(MST)策略以适应目标领域检索器性能的方法。我们的检索方法称为MST-R(1)首先通过hard negative mining 对向量存储中使用的编码器进行微调，(2)然后使用混合检索器结合稀疏检索器和稠密检索器进行倒数排名融合，(3)最后仅对检索到的top-k结果进行微调以适应cross-attention编码器。我们在为RegNLP工作坊于COLING 2025发布的数据集上进行系统性能基准测试。我们取得显著的性能提升，获得了RegNLP挑战赛领积分排。我们还表明，一个简单的回答方法会作弊式地通过RePASs指标超越所有基线和预训练的Llama模型。分析了这一异常，我们为未来研究提供了重要启示。
引用
@article{arxiv.2412.10313,
title = {MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation},
author = {Yash Malviya and Karan Dhingra and Maneesh Singh},
journal= {arXiv preprint arXiv:2412.10313},
year = {2024}
}