通过快慢微调分析与缩减跨语言迁移中的性能差距
计算与语言
2023-05-22 v1
摘要
已有研究表明，使用一种（源）语言微调的多语言预训练语言模型，即使不对非源语言进行微调，也能在非源语言的下游任务上表现良好。然而，源语言与非源语言之间的性能存在明显差距。本文分析了微调过程，发现了性能差距发生变化的时机，并确定了哪些网络权重对整体性能影响最大。此外，本文试图回答在多大程度上可通过减少遗忘来缩减该差距。基于分析结果，提出了一种名为快慢微调（含四种训练策略）的方法以解决这些问题。实验结果表明，所提方法明显优于基线。
引用
@article{arxiv.2305.11449,
title = {Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer with Fine-tuning Slow and Fast},
author = {Yiduo Guo and Yaobo Liang and Dongyan Zhao and Bing Liu and Duan Nan},
journal= {arXiv preprint arXiv:2305.11449},
year = {2023}
}
备注
Accepted by ACL2023 (Long paper)