FreeTransfer-X：基于现成模型的安全无标签跨语言迁移
计算与语言
2022-06-15 v1
摘要
跨语言迁移（CLT）具有多种应用。然而，标注的跨语言语料昂贵甚至不可获取，尤其在标签私有的领域，如医学中症状的诊断结果与商业中用户画像。不过，这些敏感领域中存在现成模型。相较于追求原始标签，CLT 的一种变通方案是在无标签情况下从现成模型迁移知识。为此，我们定义了一种新颖的 CLT 问题，名为 FreeTransfer-X，旨在从富资源语言的现成模型实现知识迁移。为解决问题，我们提出一种基于多语言预训练语言模型（mPLM）的两步知识蒸馏（KD, Hinton et al., 2015）框架。相较强神经机器翻译（NMT）基线显著提升，证明了所提方法的有效性。除降低标注成本与保护私有标签外，所提方法兼容不同网络且易于部署。最后，一系列分析表明了该方法的巨大潜力。
关键词
引用
@article{arxiv.2206.06586,
title = {FreeTransfer-X: Safe and Label-Free Cross-Lingual Transfer from Off-the-Shelf Models},
author = {Yinpeng Guo and Liangyou Li and Xin Jiang and Qun Liu},
journal= {arXiv preprint arXiv:2206.06586},
year = {2022}
}
备注
to appear in the findings of NAACL 2022