利用列表上下文信息增强的粗到细神经检索器重排序段落
计算与语言
2024-03-22 v2
摘要
段落重排序在各种应用中都是一项关键任务，尤其是在处理大量文档时。现有的神经架构在检索给定问题的最相关段落方面存在局限，因为分割段落的语义往往不完整，且它们通常将问题与每个段落单独匹配，很少考虑来自其他段落的上下文信息，而这些信息可提供对比与参考。本文提出一种列表上下文注意力机制，通过引入来自其他候选的列表上下文信息来增强段落表示。所提出的粗到细（C2F）神经检索器通过以缓存策略学习算法将列表上下文建模过程划分为两个子过程，解决了段落注意力机制的内存溢出限制，从而能够高效编码大量候选答案的上下文信息。该方法通常可用于一次性编码任意数量候选答案的上下文信息。与大多数多阶段信息检索架构不同，该模型将粗排与精排器整合进联合优化过程，使两层之间能够反馈并同时更新模型。实验证明了所提方法的有效性。
引用
@article{arxiv.2308.12022,
title = {Reranking Passages with Coarse-to-Fine Neural Retriever Enhanced by List-Context Information},
author = {Hongyin Zhu},
journal= {arXiv preprint arXiv:2308.12022},
year = {2024}
}