改进 REALM 的简单高效方法
计算与语言
2021-04-20 v1
摘要
稠密检索已被证明能有效检索开放域问答（Open Domain QA）的相关文档，超越了 BM25 等流行的稀疏检索方法。REALM（Guu 等人，2020）是一种端到端稠密检索系统，依赖于基于 MLM 的预训练，以在多个数据集上提升下游问答效率。我们研究了 REALM 在各种问答任务上的微调，并探索了多种超参数和监督选择的极限。我们发现 REALM 在微调时显著训练不足，而训练、监督和推理设置中的简单改进可显著裨益问答结果，并超越其后发表的其他模型的性能。我们的最佳模型 REALM++ 融合了所有有效发现，在不改变任何模型设计的情况下，相较基线取得了显著的问答准确率提升（约 5.5% 绝对准确率）。此外，REALM++ 匹配了参数量多 3 倍的大型开放域问答模型的性能，彰显了该设置的高效性。
引用
@article{arxiv.2104.08710,
title = {Simple and Efficient ways to Improve REALM},
author = {Vidhisha Balachandran and Ashish Vaswani and Yulia Tsvetkov and Niki Parmar},
journal= {arXiv preprint arXiv:2104.08710},
year = {2021}
}