面向语言模型的即时信息检索增强
计算与语言
2020-07-06 v1
摘要
本文实验性地探索了将信息检索用作预训练语言模型增强手段的方法。信息检索所使用的文本语料库可被视为一种随时间增长的情景记忆。通过用信息检索增强 GPT 2.0，我们在 Gigaword 语料库上实现了零样本困惑度 15% 的相对降低，且无需任何重新训练。我们还在一个事件共指任务上验证了我们的信息检索增强方法。
引用
@article{arxiv.2007.01528,
title = {On-The-Fly Information Retrieval Augmentation for Language Models},
author = {Hai Wang and David McAllester},
journal= {arXiv preprint arXiv:2007.01528},
year = {2020}
}
备注
ACL 2020 NUSE Workshop