一种用于常识推理的简单方法
人工智能
2019-09-30 v2 计算与语言
机器学习
摘要
常识推理是深度学习长期面临的挑战。例如，难以使用神经网络处理 Winograd Schema 数据集（Levesque 等，2011）。在本文中，我们提出一种使用无监督学习的神经网络常识推理简单方法。我们方法的关键在于利用在大量无标注数据上训练的语言模型，对常识推理测试所提出的选择题进行打分。在代词消歧和 Winograd Schema 挑战上，我们的模型大幅优于以往的 SOTA 方法，且未使用昂贵的标注知识库或手工设计特征。我们训练了一系列大型 RNN 语言模型，它们在 LM-1-Billion、CommonCrawl、SQuAD、Gutenberg Books 以及为本任务定制的语料库上以词或字符级别运行，并表明训练数据的多样性在测试性能中起着重要作用。进一步分析还显示，我们的系统成功发现了决定正确答案的上下文重要特征，表明其对常识知识有良好的把握。
引用
@article{arxiv.1806.02847,
title = {A Simple Method for Commonsense Reasoning},
author = {Trieu H. Trinh and Quoc V. Le},
journal= {arXiv preprint arXiv:1806.02847},
year = {2019}
}