在大规模多语言持续学习中克服灾难性遗忘
计算与语言
2023-05-26 v1
摘要
现实中的多语言系统应能在输入系统的数据分布随时间演化与偏移时，高效融入新语言。为此，系统需处理灾难性遗忘问题，即模型对其更早之前所见语言或任务的性能下降。本文在一个涉及多达 51 种语言、涵盖分类与序列标注任务的大规模多语言持续学习框架中，研究灾难性遗忘及将其最小化的方法。我们提出 LR ADJUST，一种学习率调度方法，简单却能有效保留新信息而不强烈覆盖已有知识。此外，我们表明该方法在多种持续学习方法中均有效。最后，我们就这一大规模多语言设定下灾难性遗忘的动态提供进一步见解。
引用
@article{arxiv.2305.16252,
title = {Overcoming Catastrophic Forgetting in Massively Multilingual Continual Learning},
author = {Genta Indra Winata and Lingjue Xie and Karthik Radhakrishnan and Shijie Wu and Xisen Jin and Pengxiang Cheng and Mayank Kulkarni and Daniel Preotiuc-Pietro},
journal= {arXiv preprint arXiv:2305.16252},
year = {2023}
}
备注
ACL 2023 Findings