探究神经网络对自然语言论证的理解
计算与语言
2019-09-17 v2
摘要
我们惊讶地发现，BERT 在论证推理理解任务上 77% 的峰值性能仅比未受训练的人类平均基线低三分。然而，我们表明这一结果完全由对数据集中虚假统计线索的利用所解释。我们分析了这些线索的性质并证明一系列模型均利用了它们。该分析指导构建了一个对抗数据集，所有模型在其上均达到随机精度。我们的对抗数据集提供了对论证理解的更稳健评估，应在未来工作中作为标准采用。
引用
@article{arxiv.1907.07355,
title = {Probing Neural Network Comprehension of Natural Language Arguments},
author = {Timothy Niven and Hung-Yu Kao},
journal= {arXiv preprint arXiv:1907.07355},
year = {2019}
}
备注
ACL 2019 (Updated Version)