中文

DA-Net:一种用于多源跨语言迁移学习的解耦自适应网络

计算与语言 2024-03-08 v1 人工智能

摘要

多源跨语言迁移学习处理的是在语言偏移下,将任务知识从多个有标签的源语言迁移到无标签的目标语言的问题。现有方法通常侧重于对遵循共享编码器的不同源语言的特定语言分类器产生的预测进行加权。然而,所有源语言共享同一个编码器,该编码器由所有这些语言共同更新。提取的表示不可避免地包含不同源语言的信息,这可能会干扰特定语言分类器的学习。此外,由于语言差距,使用源标签训练的特定语言分类器无法对目标语言做出准确预测。这两个事实都损害了模型的性能。为应对这些挑战,我们提出了解耦自适应网络(DA-Net)。首先,我们设计了一种反馈引导的协同解耦方法,旨在净化分类器的输入表示,从而减轻多源之间的相互干扰。其次,我们提出了一种类感知并行自适应方法,为每个源 - 目标语言对对齐类级分布,从而缓解语言对之间的语言差距。在涉及 38 种语言的三个不同任务上的实验结果验证了我们方法的有效性。

关键词

引用

@article{arxiv.2403.04158,
  title  = {DA-Net: A Disentangled and Adaptive Network for Multi-Source Cross-Lingual Transfer Learning},
  author = {Ling Ge and Chunming Hu and Guanghui Ma and Jihong Liu and Hong Zhang},
  journal= {arXiv preprint arXiv:2403.04158},
  year   = {2024}
}

备注

AAAI 2024