Re2G：检索、重排序、生成

Michael Glass; Gaetano Rossiello; Md Faisal Mahbub Chowdhury; Ankita Rajaram Naik; Pengshan Cai; Alfio Gliozzo

Re2G：检索、重排序、生成

计算与语言 2022-07-14 v1 人工智能信息检索

作者: Michael Glass , Gaetano Rossiello , Md Faisal Mahbub Chowdhury , Ankita Rajaram Naik , Pengshan Cai , Alfio Gliozzo

摘要

正如GPT-3和T5所展示的，随着参数空间变得越来越大，transformer的能力也随之增长。然而，对于需要大量知识的任务，非参数记忆允许模型以计算成本和GPU内存需求的亚线性增长而急剧扩大。近期如RAG和REALM等模型已将检索引入条件生成。这些模型融合了来自段落语料的神经初始检索。我们基于这一研究路线，提出Re2G，将神经初始检索与重排序结合到基于BART的序列到序列生成中。我们的重排序方法也允许合并来自分数不可比来源的检索结果，从而实现BM25与神经初始检索的集成。为端到端训练我们的系统，我们引入了一种知识蒸馏的新变体，仅利用目标序列输出上的真值来训练初始检索、重排序器和生成。我们在四项不同任务上发现了巨大收益：零样本槽填充、问答、事实核查和对话，在KILT排行榜上相对先前最优水平有9%至34%的提升。我们在https://github.com/IBM/kgi-slot-filling/tree/re2g提供了开源代码。

关键词

检索增强生成重排序序列到序列知识蒸馏 BART KILT 问答

引用

@article{arxiv.2207.06300,
  title  = {Re2G: Retrieve, Rerank, Generate},
  author = {Michael Glass and Gaetano Rossiello and Md Faisal Mahbub Chowdhury and Ankita Rajaram Naik and Pengshan Cai and Alfio Gliozzo},
  journal= {arXiv preprint arXiv:2207.06300},
  year   = {2022}
}

备注

Accepted at NAACL 2022

Re2G：检索、重排序、生成

摘要

关键词

引用

备注

相关论文