基于统一梯度框架的任务无关持续学习-遗忘方法——UG-CLU
机器学习
2025-05-22 v1
摘要
深度模型的最新进展凸显了需要将持续学习（CL）用于知识获取与机器遗忘（MU）用于数据删除相结合的智能系统需求，形成持续学习-遗忘（CLU）范式。虽然现有工作将CL和MU视为独立过程，但我们通过基于KL散度最小化的统一优化框架揭示了它们的内在联系。该框架将近似CLU的梯度更新分解为四个组成部分：学习新知识、遗忘目标数据、保留现有知识以及通过权重灵敏度进行调制。关键挑战在于在顺序学习-遗忘循环中平衡知识更新与保留。为解决这一稳定-塑性困境，我们引入一种剩余保留流形约束，以在CLU迭代中引导剩余Hessian补偿。设计快速-慢速权重适应机制高效逼近二阶优化方向，结合自适应权重系数和平衡权重灵敏度掩码，提出一种用于梯度基方法的统一CLU实现框架。此外，我们首次提出任务无关CLU场景，支持在跨任务类别和随机样本水平上进行精细遗忘，超越传统任务感知设置。实验表明，提出的UG-CLU框架在多个数据集和模型架构上有效协调增量学习、精确遗忘和知识稳定性，为动态合规智能系统提供了理论基础和方法论支持。
引用
@article{arxiv.2505.15178,
title = {A Unified Gradient-based Framework for Task-agnostic Continual Learning-Unlearning},
author = {Zhehao Huang and Xinwen Cheng and Jie Zhang and Jinghao Zheng and Haoran Wang and Zhengbao He and Tao Li and Xiaolin Huang},
journal= {arXiv preprint arXiv:2505.15178},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2409.19732