利用 Transformer 与迁移学习改进葡萄牙语语义角色标注
计算与语言
2021-11-02 v3
摘要
确定“谁对谁做了什么”的自然语言处理任务称为语义角色标注。对于英语，近期基于 Transformer 模型的方法已使该任务相比先前最优水平取得重大改进。然而，对于葡萄牙语等低资源语言，当前可用的语义角色标注模型受限于稀缺的训练数据。本文中，我们探索了一种仅由预训练 Transformer 模型、线性层、softmax 和 Viterbi 解码组成的模型架构。我们将葡萄牙语的最优性能显著提升了超过 15 F1。此外，我们通过使用多语言预训练模型进行跨语言迁移学习，以及从葡萄牙语依存句法分析进行迁移学习，改进了葡萄牙语语料库上的语义角色标注结果，并对各种提出的方法进行了实证评估。
引用
@article{arxiv.2101.01213,
title = {Improving Portuguese Semantic Role Labeling with Transformers and Transfer Learning},
author = {Sofia Oliveira and Daniel Loureiro and Alípio Jorge},
journal= {arXiv preprint arXiv:2101.01213},
year = {2021}
}
备注
30 pages, 3 figures; Fixed broken links in References