面向远程监督与低资源印尼语命名实体识别的跨语言迁移
计算与语言
2026-05-01 v1
摘要
低资源语言的手动标注语料库通常数量较少（gold），或规模大但为远程监督所得（silver）。受近期将预训练语言模型（LM）注入许多自然语言处理（NLP）任务进展的启发，我们提出将高资源语言的预训练语言模型微调至低资源语言，以改善这两种场景下的性能。我们的实证实验表明，在小型 gold 语料的跨语言迁移场景中微调预训练语言模型有显著提升，且在大型 silver 语料下相较有监督跨语言迁移具有竞争力结果，这在无同任务并行标注可用时尤为有用。我们通过利用双向语言模型任务的字符级输入，在大型 silver 与小型 gold NER 数据集的下游任务中，将所提出的基于预训练 LM 的跨语言迁移方法与单语 LM 和词性标注（POS）等不同迁移源进行比较。
引用
@article{arxiv.1907.11158,
title = {Cross-Lingual Transfer for Distantly Supervised and Low-resources Indonesian NER},
author = {Fariz Ikhwantri},
journal= {arXiv preprint arXiv:1907.11158},
year = {2026}
}