用于联合检索与分类的由粗到细记忆匹配

我们提出一种新颖的端到端语言模型用于联合检索与分类，通过由粗到细的记忆匹配搜索过程将双编码器与交叉编码器的优势统一为单一语言模型，用于学习与推理。在 FEVER 事实验证数据集的标准盲测集上评估，分类准确率显著高于仅依赖语言模型参数作为知识库的方法，并接近一些近期多模型流水线系统，且仅使用单个增强记忆层的 BERT base 模型。我们进一步展示如何利用耦合的检索与分类识别低置信度实例，并将示例审计扩展到此设置以分析与约束模型。因此，我们的方法产生了通过两种不同机制更新语言模型行为的手段：检索信息可显式更新，且模型行为可通过示例数据库修改。