Learn it or Leave it: 持续学习中的模块组成与剪枝
机器学习
2024-06-28 v1 计算与语言
摘要
在实际环境中，持续学习对于机器学习模型至关重要，因为它们需要在不忘记已有知识的同时逐步获取新知识。虽然预训练语言模型在 various static tasks 上显示出惊人的能力，但将其应用于持续学习面临着显著挑战，包括避免灾难性遗忘、促进知识迁移和保持参数效率。本文引入了 MoCL-P，这是一种新型轻量级持续学习方法，旨在同时解决这些挑战。与持续扩展新任务参数的传统方法不同，MoCL-P 集成了任务表示引导的模块组成与自适应剪枝，有效平衡了知识集成与计算开销。我们的评估在三个持续学习基准中进行，涉及最多 176 个任务，显示 MoCL-P 实现了最先进的性能，并将参数效率提高了最高三倍，展示了其在资源受限环境中的实际应用潜力。
引用
@article{arxiv.2406.18708,
title = {Learn it or Leave it: Module Composition and Pruning for Continual Learning},
author = {Mingyang Wang and Heike Adel and Lukas Lange and Jannik Strötgen and Hinrich Schütze},
journal= {arXiv preprint arXiv:2406.18708},
year = {2024}
}