面向常识推理的对比自监督学习
计算与语言
2020-05-06 v1 人工智能
摘要
我们提出一种自监督方法来解决代词消歧与 Winograd Schema Challenge 问题。我们的方法利用了与所谓“触发”词相关的训练语料的特征结构，这些触发词负责在代词消歧中翻转答案。我们通过构建成对对比辅助预测来实现此类常识推理。为此，我们借助由对比边界正则化的互斥损失。我们的架构基于近期提出的 transformer 网络 BERT，其在许多 NLP 基准上展现出强劲性能。实证结果表明，我们的方法缓解了当前监督式常识推理方法的局限性。本研究为利用廉价的自监督在常识推理任务中取得性能提升开辟了途径。
引用
@article{arxiv.2005.00669,
title = {Contrastive Self-Supervised Learning for Commonsense Reasoning},
author = {Tassilo Klein and Moin Nabi},
journal= {arXiv preprint arXiv:2005.00669},
year = {2020}
}
备注
To appear at ACL2020