基于超适配器的多语言机器翻译
计算与语言
2022-12-06 v2
摘要
多语言机器翻译受到跨语言负干扰的困扰。一种常见的解决方案是使用语言特定模块（如适配器）来放宽参数共享。然而，相关语言的适配器无法传递信息，且随着语言数量增长，其参数总量变得过于昂贵。在本工作中，我们使用超适配器（hyper-adapters）——从语言和层嵌入生成适配器的超网络（hyper-networks）——克服了这些缺陷。尽管过去扩展超网络的工作结果不佳，我们提出了一种重缩放修正，显著改善了收敛性并支持训练更大的超网络。我们发现超适配器比常规适配器参数更高效，以最多 12 倍的参数减少达到相同性能。在使用相同参数数量和 FLOPS 时，我们的方法始终优于常规适配器。此外，超适配器比替代方法收敛更快，并且比常规稠密网络扩展性更好。我们的分析表明，超适配器学会编码语言相关性，从而实现跨语言的正向迁移。
引用
@article{arxiv.2205.10835,
title = {Multilingual Machine Translation with Hyper-Adapters},
author = {Christos Baziotis and Mikel Artetxe and James Cross and Shruti Bhosale},
journal= {arXiv preprint arXiv:2205.10835},
year = {2022}
}
备注
EMNLP 2022 camera-ready version. Code at github.com/cbaziotis/fairseq under the "hyperadapters" branch (see instructions at https://github.com/cbaziotis/fairseq/tree/hyperadapters/examples/adapters)