面向序列标注及更广任务的无人监督跨语言自适应
计算与语言
2021-06-23 v3
摘要
使用多语预训练语言模型（mPTLMs）的跨语言自适应主要包括两类工作：零样本方法和基于翻译的方法，这两类方法已在序列级任务上被广泛研究。我们通过在更细粒度的序列标注任务上评估其性能，进一步验证了这些跨语言自适应方法的有效性。在重新审视它们的优势与缺陷后，我们提出了一种新框架，以整合零样本方法与基于翻译的方法从而获得更好的自适应性能。我们并非简单地用机器翻译数据扩充源数据，而是量身定制了一种预热机制，利用少量翻译数据上估计的梯度快速更新 mPTLMs。随后，将该自适应方法应用于精炼后的参数，并以热启动方式执行跨语言迁移。在九种目标语言上的实验结果表明，我们的方法有益于各类序列标注任务的跨语言自适应。
引用
@article{arxiv.2010.12405,
title = {Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond},
author = {Xin Li and Lidong Bing and Wenxuan Zhang and Zheng Li and Wai Lam},
journal= {arXiv preprint arXiv:2010.12405},
year = {2021}
}