Hindsight：通过后验引导训练检索器以改进开放式生成
计算与语言
2021-10-22 v2 信息检索
摘要
许多文本生成系统受益于使用检索器从文本知识语料库（如Wikipedia）中检索段落，然后将其作为额外上下文提供给生成器。对于开放式生成任务（如在对话中生成信息丰富的语句），许多不同的段落可能同样相关，我们发现现有的联合训练检索器和生成器的方法表现不佳：检索器即使在top-10中也可能找不到相关段落，因此生成器可能无法学会将其生成的输出基于这些段落。我们提出使用一个额外的引导检索器，该检索器允许使用目标输出，并在训练期间“事后”检索相关段落。我们将引导检索器建模为给定输入和目标输出下段落的后验分布Q，并通过最大化Q期望下的证据下界（ELBo）将其与标准检索器和生成器联合训练。对于来自Wizard of Wikipedia数据集的信息性对话，通过后验引导训练，检索器在top-10中找到了相关性更高的段落（相对提升23%），生成器的响应更基于检索到的段落（相对提升19%），并且端到端系统产生了更好的整体输出（相对提升6.4%）。
引用
@article{arxiv.2110.07752,
title = {Hindsight: Posterior-guided training of retrievers for improved open-ended generation},
author = {Ashwin Paranjape and Omar Khattab and Christopher Potts and Matei Zaharia and Christopher D. Manning},
journal= {arXiv preprint arXiv:2110.07752},
year = {2021}
}