研究稀疏注意力对 Cross-Encoders 的影响
信息检索
2024-03-21 v2
摘要
Cross-encoders 是有效的段落和文档重排序器，但效率低于其他神经或经典检索模型。少数先前的研究应用了窗口化自注意力来提高 cross-encoders 的效率。然而，这些研究并未调查不同注意力模式或窗口大小的潜力和局限性。我们填补了这一空白，系统地分析了如何在不损害重排序效果的情况下减少 token 交互。通过对不对称注意力和不同窗口大小的实验，我们发现查询 token 无需关注段落或文档 token 即可实现有效的重排序，且非常小的窗口大小就足够了。在我们的实验中，即使是 4 个 token 的窗口，其效果也与之前的 cross-encoders 相当，同时将内存需求降低了至少 22% / 59%，并在段落/文档的推理时间上加快了 1% / 43%。
引用
@article{arxiv.2312.17649,
title = {Investigating the Effects of Sparse Attention on Cross-Encoders},
author = {Ferdinand Schlatt and Maik Fröbe and Matthias Hagen},
journal= {arXiv preprint arXiv:2312.17649},
year = {2024}
}
备注
Accepted at ECIR'24