LIMIT-BERT：语言信息多任务BERT
计算与语言
2020-10-07 v2 机器学习
摘要
在本文中，我们提出了一种语言信息多任务BERT（LIMIT-BERT），通过多任务学习（MTL）跨多个语言任务学习语言表示。LIMIT-BERT包括五个关键的语言句法和语义任务：词性标注（POS）、成分和依存句法分析、跨度与依存语义角色标注（SRL）。此外，LIMIT-BERT采用语言学掩码策略：句法和语义短语掩码，该策略掩码对应于句法/语义短语的所有标记。与最近的多任务深度神经网络（MT-DNN）（Liu等人，2019）不同，我们的LIMIT-BERT是语言驱动的，并以半监督方式学习，提供了与BERT学习语料库相同的大量语言任务数据。因此，LIMIT-BERT不仅提高了语言任务性能，还受益于正则化效应和语言信息，从而产生更通用的表示，有助于适应新任务和领域。LIMIT-BERT在Propbank基准上的跨度和依存语义解析以及Penn Treebank上的依存和成分句法分析上取得了新的最先进或具有竞争力的结果。
引用
@article{arxiv.1910.14296,
title = {LIMIT-BERT : Linguistic Informed Multi-Task BERT},
author = {Junru Zhou and Zhuosheng Zhang and Hai Zhao and Shuailiang Zhang},
journal= {arXiv preprint arXiv:1910.14296},
year = {2020}
}
备注
EMNLP 2020, ACL Findings