BERT-kNN：为预训练语言模型添加 kNN 搜索组件以改进问答
计算与语言
2020-10-14 v2
摘要
Khandelwal 等人 (2020) 使用 k 近邻 (kNN) 组件来改进语言模型性能。我们表明该思路对开放域问答 (QA) 有益。为了提高训练期间所遇到事实的召回率，我们将 BERT (Devlin et al., 2019) 与传统信息检索步骤 (IR) 以及对大规模嵌入文本集合数据存储的 kNN 搜索相结合。我们的贡献如下：i) BERT-kNN 在完形填空式 QA 上以大幅优势超越 BERT，且无需任何进一步训练。ii) 我们表明 BERT 常能识别正确的回答类别（例如，美国城市），但只有 kNN 能恢复事实正确的答案（例如，“迈阿密”）。iii) 与 BERT 相比，BERT-kNN 在罕见事实上表现更佳。iv) BERT-kNN 可轻松处理 BERT 训练集未覆盖的事实，例如近期事件。
引用
@article{arxiv.2005.00766,
title = {BERT-kNN: Adding a kNN Search Component to Pretrained Language Models for Better QA},
author = {Nora Kassner and Hinrich Schütze},
journal= {arXiv preprint arXiv:2005.00766},
year = {2020}
}
备注
to appear in EMNLP Findings