子词信息对于真正低资源语言中形态学任务的重要性
计算与语言
2019-09-30 v1
摘要
近期工作已验证了子词信息对于词表示学习的重要性。由于子词增强了神经模型中的参数共享能力，其在低数据 regime 中的价值应更为显著。因此，在本工作中，我们提供了一项聚焦于子词在真正低资源场景以及三个代表性形态学任务（细粒度实体类型标注、形态学标注和命名实体识别）中对词表示学习有用性的综合分析。我们开展了一项跨越多个比较维度的系统研究：1）数据稀缺的类型，可能源于缺乏任务特定训练数据，或甚至缺乏训练词嵌入所需的未标注数据，或两者皆缺；2）语言类型，通过使用包含一些真正低资源语言（例如Rusyn、Buryat和Zulu）的16种类型学多样语言的样本；3）子词感知词表示方法的选择。我们的主要结果表明，子词感知模型在所有语言类型中普遍有用，相较无视子词的嵌入有大幅增益。它们还表明，子词的有效使用很大程度上取决于语言（类型）和手头任务，以及用于训练嵌入和基于任务的模型的可用数据量，其中拥有充足的任务内数据是一项更关键的要求。
引用
@article{arxiv.1909.12375,
title = {On the Importance of Subword Information for Morphological Tasks in Truly Low-Resource Languages},
author = {Yi Zhu and Benjamin Heinzerling and Ivan Vulić and Michael Strube and Roi Reichart and Anna Korhonen},
journal= {arXiv preprint arXiv:1909.12375},
year = {2019}
}
备注
CONLL2019