跨语言迁移范式中的灾难性遗忘度量：调优策略探究
计算与语言
2025-02-18 v3 机器学习
摘要
跨语言迁移是一种用于解决低资源语言任务的有前景的技术。在本实证研究中，我们在跨语言环境下比较了两种微调方法与大型语言模型的零样本和全样本学习方法的结合。作为微调策略，我们比较了参数高效的适配器方法与全参数微调。作为跨语言迁移策略，我们比较了使用每种语言依次进行的中间训练（\textit{IT}）和在微调验证阶段已使用目标语言的跨语言验证（\textit{CLV}）。我们评估了迁移的成功程度以及由于跨语言迁移导致的源语言灾难性遗忘程度，即当我们以不同语言学习新信息时丢失了多少先前获得的知识。在两个不同的分类问题（仇恨言论检测和商品评论，每个都包含多种语言的数据集）上的结果表明，\textit{IT} 跨语言策略在目标语言上优于 \textit{CLV}。我们的发现表明，在评估多种跨语言迁移中的灾难性遗忘时，大多数情况下，与 \textit{IT} 策略相比，\textit{CLV} 策略在基础语言（英语）中表现出更优的知识保持能力。
引用
@article{arxiv.2309.06089,
title = {Measuring Catastrophic Forgetting in Cross-Lingual Transfer Paradigms: Exploring Tuning Strategies},
author = {Boshko Koloski and Blaž Škrlj and Marko Robnik-Šikonja and Senja Pollak},
journal= {arXiv preprint arXiv:2309.06089},
year = {2025}
}
备注
Accepted to IEEE Access