BMX：基于熵加权相似性与语义增强的词典搜索
信息检索
2024-08-15 v2
摘要
BM25 作为广泛使用的词典搜索算法，在信息检索领域仍然发挥着关键作用。然而，它忽略了查询-文档相似性，缺乏语义理解，限制了其性能。我们对 BM25 进行了重新检视，提出 BMX，这是一种集成熵加权相似性和语义增强技术的 BM25 扩展方法。大量实验表明，BMX 在长上下文和真实世界检索基准测试中， consistently 优于传统 BM25，并超越基于 PLM/LLM 的稠密检索方法。这一研究填补了经典词典搜索与现代语义方法之间的鸿沟，为未来信息检索研究提供了有前景的方向。BMX 的参考实现可在 Baguetter 中找到，该项目正是为本工作而创建。代码可在 https://github.com/mixedbread-ai/baguetter 查看。
引用
@article{arxiv.2408.06643,
title = {BMX: Entropy-weighted Similarity and Semantic-enhanced Lexical Search},
author = {Xianming Li and Julius Lipp and Aamir Shakir and Rui Huang and Jing Li},
journal= {arXiv preprint arXiv:2408.06643},
year = {2024}
}
备注
correct the affiliation order