基于完形填空翻译与一致性优化的零样本常识问答

常识问答(CQA)旨在测试模型是否能回答人人皆知的常识知识相关问题。先前融合外部知识库的工作展现出前景，但知识库构建昂贵且常限于固定关系集合。本文转而聚焦于更好地利用预训练语言模型中存储的\textit{隐式知识}。尽管研究者发现预训练语言模型中的知识可通过让其填充分类关系抽取与文本分类的精心设计的提示空白来提取，但能否在输入输出形式灵活得多的 CQA 中采用此范式仍不明了。为此，我们探究了四种可将自然语言问题翻译为完形填空式句子以更好引发语言模型常识知识的方法，包括基于句法的模型、无监督神经模型及两种有监督神经模型。此外，为组合不同翻译方法，我们提出利用无标注数据鼓励模型对不同翻译问题的预测间的一致性。我们在三个 CQA 数据集的零样本设定下证明了方法的有效性。我们展示我们的方法对知识库增强模型具互补性，且组合二者可取得最先进的零样本性能。分析也揭示了不同完形填空翻译方法的鲜明特征，并阐释了组合它们能大幅提升的原因。