面向鲁棒持续多语言学习的参数高效微调
计算与语言
2023-08-29 v3
摘要
我们引入并研究了持续多语言学习（CML）问题，其中先前训练的多语言模型使用分阶段到达的新数据定期更新。如果新数据仅以部分语言存在，我们发现所得模型仅在最新更新中包含的语言（以及少数密切相关语言）上表现出性能提升，而在所有其余语言上的性能显著下降。我们通过提出 LAFT-URIEL 来解决这一挑战，这是一种参数高效微调策略，旨在增加更新后模型性能得以提升的语言数量，同时降低其余语言性能损失的幅度。LAFT-URIEL 利用语言知识来平衡跨语言的过拟合与知识共享，使得额外 25% 的任务语言在更新后性能得到提升，同时将其余语言上的平均损失幅度相对降低 78%。
引用
@article{arxiv.2209.06767,
title = {Parameter-Efficient Finetuning for Robust Continual Multilingual Learning},
author = {Kartikeya Badola and Shachi Dave and Partha Talukdar},
journal= {arXiv preprint arXiv:2209.06767},
year = {2023}
}
备注
Published at ACL Findings 2023