基于注意力的对比学习用于 Winograd 模式
计算与语言
2021-09-14 v1
摘要
自监督学习近期因能利用对比目标学习判别性特征而在 NLP 社区引起相当关注。本文研究对比学习是否可扩展至 Transformer 注意力以应对 Winograd 模式挑战（Winograd Schema Challenge）。为此，我们提出一种新颖的自监督框架，在自注意力层面直接利用对比损失。我们的基于注意力的模型在多个数据集上的实验分析展示了优越的常识推理能力。所提方法优于所有可比较的无监督方法，且偶尔超越有监督方法。
引用
@article{arxiv.2109.05108,
title = {Attention-based Contrastive Learning for Winograd Schemas},
author = {Tassilo Klein and Moin Nabi},
journal= {arXiv preprint arXiv:2109.05108},
year = {2021}
}
备注
To appear at EMNLP 2021 (findings)