GLIMMER：广义后期交互记忆重排序器
计算与语言
2023-06-21 v1 人工智能
机器学习
摘要
记忆增强是一种将外部信息高效整合进语言模型的强大方法，但相对于检索文本会导致性能下降。近期工作提出LUMEN，一种记忆-检索混合方法，其部分预计算记忆并利用更小的实时编码器动态更新记忆表示。我们提出GLIMMER，通过以下方式改进该方法：1）利用对强大记忆表示的自由访问，在记忆之上应用浅层重排序器，以低成本大幅提升检索质量；2）引入多任务训练以学习通用且更高质量的记忆与实时编码器。在KILT知识密集型任务基准上，GLIMMER相较LUMEN和FiD以更快速度实现了显著的性能提升。
引用
@article{arxiv.2306.10231,
title = {GLIMMER: generalized late-interaction memory reranker},
author = {Michiel de Jong and Yury Zemlyanskiy and Nicholas FitzGerald and Sumit Sanghai and William W. Cohen and Joshua Ainslie},
journal= {arXiv preprint arXiv:2306.10231},
year = {2023}
}