Doc2Query--:少即是多
信息检索
2023-02-28 v3
摘要
Doc2Query——即在建索引前使用序列到序列模型扩展文档内容的过程——已成为提升搜索引擎第一阶段检索效果的重要技术。然而,序列到序列模型已知易于“幻觉”出源文本中不存在的内容。我们认为 Doc2Query 确实容易出现幻觉,这最终损害了检索效果并膨胀了索引规模。在本工作中,我们探索在索引前过滤掉这些有害查询的技术。我们发现,使用相关性模型去除低质量查询可将 Doc2Query 的检索效果提升高达 16%,同时将平均查询执行时间减少 23% 并将索引规模缩减 33%。我们发布了代码、数据以及一个在线演示,以便在 https://github.com/terrierteam/pyterrier_doc2query 促进复现与进一步探索。
引用
@article{arxiv.2301.03266,
title = {Doc2Query--: When Less is More},
author = {Mitko Gospodinov and Sean MacAvaney and Craig Macdonald},
journal= {arXiv preprint arXiv:2301.03266},
year = {2023}
}
备注
ECIR 2023