精简数据融合：以最少相关性判断释放线性组合之力
信息检索
2023-09-25 v2
摘要
在信息检索任务中，线性组合是一种强有力的数据融合方法，因其能针对不同场景调整权重。然而，传统上实现最优权重训练需要对很大比例的文档进行人工相关性判断，这一过程费力且昂贵。在本研究中，我们探究仅使用 20%–50% 的相关文档获得近最优权重的可行性。通过在四个TREC数据集上的实验，我们发现：用该缩减集合通过多元线性回归训练的权重，与用TREC官方“qrels”获得的权重表现相近。我们的发现释放了更高效、更经济的数据融合潜力，使研究者和从业者能以显著更少的投入充分获益。
引用
@article{arxiv.2309.04981,
title = {Streamlined Data Fusion: Unleashing the Power of Linear Combination with Minimal Relevance Judgments},
author = {Qiuyu Xu and Yidong Huang and Shengli Wu and Adrian Moore},
journal= {arXiv preprint arXiv:2309.04981},
year = {2023}
}
备注
12 pages, 8 figures