多粒度引导的融合解码器
计算与语言
2024-04-04 v1 信息检索
摘要
在开放域问答（ODQA）中，从检索结果中识别相关上下文作为证据并避免虚假上下文至关重要。在解码阶段使用多个上下文拼接的模型架构，即融合解码器（Fusion-in-Decoder），表现出有前景的性能，但会从看似合理的上下文中生成错误输出。为解决此问题，我们提出了多粒度引导的融合解码器（MGFiD），在多个粒度级别上辨别证据。基于多任务学习，MGFiD协调了段落重排序与句子分类。它将证据句子聚合为锚向量，用于指导解码器。此外，它通过重用段落重排序的结果进行段落剪枝，提高了解码效率。通过实验，MGFiD在Natural Questions（NQ）和TriviaQA（TQA）数据集上优于现有模型，凸显了其多粒度解决方案的优势。
引用
@article{arxiv.2404.02581,
title = {Multi-Granularity Guided Fusion-in-Decoder},
author = {Eunseong Choi and Hyeri Lee and Jongwuk Lee},
journal= {arXiv preprint arXiv:2404.02581},
year = {2024}
}
备注
Findings of the Association for Computational Linguistics: NAACL 2024; 12 pages; 8 figures and 5 tables. Code and data available at http://github.com/eunseongc/MGFiD