一种用于常识推理的混合神经网络模型
计算与语言
2019-07-30 v1
摘要
本文提出一种用于常识推理的混合神经网络（HNN）模型。HNN 由两个组件模型组成：一个掩码语言模型和一个语义相似度模型，它们共享一个基于 BERT 的上下文编码器，但使用不同的模型特定输入与输出层。HNN 在三个经典常识推理任务上取得了新的最先进（SOTA）结果，将 WNLI 基准推至 89%，Winograd Schema Challenge（WSC）基准推至 75.1%，PDP60 基准推至 90.0%。消融研究表明，语言模型与语义相似度模型是常识推理的互补方法，而 HNN 有效结合了两者的优势。代码与预训练模型将在 https://github.com/namisan/mt-dnn 公开可用。
引用
@article{arxiv.1907.11983,
title = {A Hybrid Neural Network Model for Commonsense Reasoning},
author = {Pengcheng He and Xiaodong Liu and Weizhu Chen and Jianfeng Gao},
journal= {arXiv preprint arXiv:1907.11983},
year = {2019}
}
备注
9 pages, 3 figures, 6 tables