利用参数化邻域记忆自适应改进语义角色标注
计算与语言
2020-12-01 v1
摘要
深度神经模型在语义角色标注中取得了一些最佳结果。受利用最近邻处理低频上下文特定训练样本的基于实例的学习启发，我们研究了深度神经模型中记忆自适应技术的应用。我们提出一种参数化邻域记忆自适应（PNMA）方法，该方法使用记忆中词元最近邻的参数化表示，并基于训练数据中最相似的样本进行预测。我们通过实证表明，无论词嵌入类型如何，PNMA 都能持续提升基模型的 SRL 性能。结合从 BERT 导出的上下文词嵌入，PNMA 在 span 和 dependency 语义解析数据集上均优于现有模型，尤其在域外文本上，在 CoNLL2005 和 CoNLL2009 数据集上分别达到 80.2 和 84.97 的 F1 分数。
引用
@article{arxiv.2011.14459,
title = {Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation},
author = {Ishan Jindal and Ranit Aharonov and Siddhartha Brahma and Huaiyu Zhu and Yunyao Li},
journal= {arXiv preprint arXiv:2011.14459},
year = {2020}
}