濒危语言文献记录背景下词素标注的鲁棒泛化策略
计算与语言
2024-04-04 v1 机器学习
摘要
在资源受限的环境中，泛化尤为重要，因为可用的训练数据可能仅代表可能文本分布的一小部分。我们通过对未见文本体裁上的性能进行评估，考察词素标注模型的泛化能力，并实验了缩小分布内与分布外数据性能差距的策略。具体而言，我们使用权重衰减优化、输出去噪和迭代伪标注，在包含未见体裁文本的测试集上取得了2%的提升。所有实验均使用玛雅语言Uspanteko书写的文本进行。
引用
@article{arxiv.2311.02777,
title = {Robust Generalization Strategies for Morpheme Glossing in an Endangered Language Documentation Context},
author = {Michael Ginn and Alexis Palmer},
journal= {arXiv preprint arXiv:2311.02777},
year = {2024}
}