MTLB-STRUCT @PARSEME 2020：利用多任务学习与预训练掩码语言模型捕捉未见多词表达式
计算与语言
2020-11-06 v1
摘要
本文描述了一个半监督系统，其联合学习动词性多词表达式（VMWEs）并以依赖解析树作为辅助任务。该模型受益于预训练的多语言 BERT。BERT 隐藏层在两个任务间共享，我们引入一个额外的线性层以提取 VMWE 标签。依赖解析树的预测由 BERT 之上的一个线性层与一个双线性层外加树形 CRF 建模。该系统参与了 PARSEME 2020 共享任务的开放赛道，并在识别未见 VMWEs 以及总体 VMWEs 的 F1 分数上，跨全部 14 种语言平均排名第一。
引用
@article{arxiv.2011.02541,
title = {MTLB-STRUCT @PARSEME 2020: Capturing Unseen Multiword Expressions Using Multi-task Learning and Pre-trained Masked Language Models},
author = {Shiva Taslimipoor and Sara Bahaadini and Ekaterina Kochmar},
journal= {arXiv preprint arXiv:2011.02541},
year = {2020}
}
备注
accepted for publication at MWE-LEX 2020 Workshop at COLING