Set-Encoder: 用于列表式段落重排序的置换不变跨段落注意力机制
信息检索
2025-04-08 v5
摘要
现有的交叉编码器模型可分为逐点式、配对式或列表式。配对式和列表式模型允许段落间交互，这通常使它们比逐点式模型更有效，但效率较低且对输入段落顺序排列的鲁棒性较差。为了在重排序过程中实现高效且置换不变的段落交互，我们提出了一种新的具有跨段落注意力的交叉编码器架构：Set-Encoder。在TREC Deep Learning和TIREx上的实验中，Set-Encoder与最先进的列表式模型效果相当，同时效率更高且对输入段落顺序排列具有不变性。与逐点式模型相比，Set-Encoder在考虑跨段落信息（如新颖性）时尤其有效，并且与其他列表式模型相比保留了其优势特性。我们的代码公开在 https://github.com/webis-de/ECIR-25。
引用
@article{arxiv.2404.06912,
title = {Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders},
author = {Ferdinand Schlatt and Maik Fröbe and Harrisen Scells and Shengyao Zhuang and Bevan Koopman and Guido Zuccon and Benno Stein and Martin Potthast and Matthias Hagen},
journal= {arXiv preprint arXiv:2404.06912},
year = {2025}
}
备注
Accepted at ECIR'25