少量预训练大有裨益：低资源形态丰富语言依存句法分析任务案例研究
计算与语言
2021-04-13 v2
摘要
神经依存句法分析在许多领域和语言上取得了卓越性能。海量标注数据的瓶颈限制了这些方法在低资源语言上的有效性。在本工作中，我们关注低资源设定下形态丰富语言 (MRLs) 的依存句法分析。尽管形态信息对该任务至关重要，但形态消歧以及缺乏强大的分析器给获取 MRLs 的此类信息带来了挑战。为应对这些挑战，我们提出了用于预训练的简单辅助任务。我们在低资源设定下对 10 种 MRLs 进行实验，以衡量所提预训练方法的效能，并观察到平均绝对提升 2 个点 (UAS) 和 3.6 个点 (LAS)。代码与数据见：https://github.com/jivnesh/LCM
引用
@article{arxiv.2102.06551,
title = {A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages},
author = {Jivnesh Sandhan and Amrith Krishna and Ashim Gupta and Laxmidhar Behera and Pawan Goyal},
journal= {arXiv preprint arXiv:2102.06551},
year = {2021}
}
备注
6 pages, The work is accepted at EACL-SRW, 2021, Kyiv, Ukraine Typos corrected in Section 3.2