面向深度语义角色标注的半监督学习
计算与语言
2018-08-30 v1
摘要
神经模型在语义角色标注（SRL）上已展现出多项最优性能。然而，神经模型需要大量的语义角色语料，因而并不适用于低资源语言或领域。本文提出一种半监督语义角色标注方法，在有限 SRL 训练语料下优于当前最优方法。该方法基于显式施加句法约束，通过在训练目标中增加句法不一致损失项，并利用无 SRL 标注样本训练联合目标 LSTM。在 CoNLL-2012 英文部分上，所提出的以 1%、10% SRL 标注数据及不同数量无 SRL 标注数据进行的半监督训练，相比在相同 SRL 标注数据上以 ELMo 和 SOTA 架构训练的预训练模型，分别取得 +1.58、+0.78 F1 的提升。此外，通过在推断时使用句法不一致损失，所提模型在 1%、10% SRL 标注数据上相比预训练模型分别取得 +3.67、+2.1 F1 的提升。
引用
@article{arxiv.1808.09543,
title = {Towards Semi-Supervised Learning for Deep Semantic Role Labeling},
author = {Sanket Vaibhav Mehta and Jay Yoon Lee and Jaime Carbonell},
journal= {arXiv preprint arXiv:1808.09543},
year = {2018}
}
备注
EMNLP 2018