基于掩码名词短语预测的无监督代词消解
计算与语言
2021-05-31 v2
摘要
在本工作中，我们提出掩码名词短语预测（Masked Noun-Phrase Prediction，MNPP），一种在完全无监督设定下解决代词消解问题的预训练策略。首先，我们在不进行任何微调的情况下于多个代词消解数据集上评估我们的预训练模型。我们的方法在所有数据集上以大幅优势超越此前所有无监督方法。其次，我们进一步采用少样本设定，分别在 WinoGrande-S 和 XS 上微调预训练模型。我们的方法以大幅优势超越 RoBERTa-large 基线，同时在 WinoGrande 其余三个官方划分上进一步微调后取得了更高的 AUC 分数。
引用
@article{arxiv.2105.12392,
title = {Unsupervised Pronoun Resolution via Masked Noun-Phrase Prediction},
author = {Ming Shen and Pratyay Banerjee and Chitta Baral},
journal= {arXiv preprint arXiv:2105.12392},
year = {2021}
}
备注
Accepted to ACL2021