注意力并非（或就是）常识推理所需的一切
计算与语言
2019-06-03 v1 人工智能
摘要
近期引入的 BERT 模型在若干语言理解基准上展现出强劲性能。在本文中，我们描述了一种用于常识推理的 BERT 简单重实现。我们展示 BERT 产生的注意力可直接用于如代词消歧问题和 Winograd Schema Challenge 等任务。我们提出的注意力引导常识推理方法在概念上简单，但在经验上强大。在多个数据集上的实验分析表明，我们提出的系统在所有案例上表现极为出色，并以一定优势超越先前报告的最优水平（SOTA）。尽管结果表明 BERT 似乎隐式地学习建立实体间的复杂关系，解决常识推理任务可能需要的不止是从海量文本语料中学习到的无监督模型。
引用
@article{arxiv.1905.13497,
title = {Attention Is (not) All You Need for Commonsense Reasoning},
author = {Tassilo Klein and Moin Nabi},
journal= {arXiv preprint arXiv:1905.13497},
year = {2019}
}
备注
to appear at ACL 2019