克服因增长导致的遗忘——面向无任务情境的持续学习
机器学习
2025-12-23 v5 人工智能
摘要
在持续学习（CL）中，模型增长可以提高对新数据的适应性。然而，当模型增长应用于任务无关情境时，尤其是整个 grown 模型用于推断时，可能导致严重的已学习知识退化，我们将此问题称为增长诱导遗忘。大多数采用模型增长来提高适应性的方法往往忽视了遗忘问题，导致知识保留受损，因而不适用于任务无关情境。为了在模型增长的同时实现适应性和知识保留，我们识别出关键因素：梯度稀疏性和参数稀疏性。引入 SparseGrow，通过层级扩张和梯度门控来增加梯度稀疏性，从而实现对参数的聚焦更新，同时保留关键参数，从而抑制遗忘。此外，它通过稀疏初始化和训练来促进参数稀疏性，以更好地控制模型的可塑性，提高对新数据的适应性。广泛的实验在不同数据集、任务无关情境以及大量任务上表明了受控层级扩张的必要性，并验证了 SparseGrow 在持续学习中实现高适应性且最小化遗忘的有效性。通过对稀疏化梯度和参数进行模型增长，SparseGrow 为构建能够持续适应且知识保留更好的可扩展终身学习系统铺平了道路。
引用
@article{arxiv.2408.10566,
title = {Overcoming Growth-Induced Forgetting in Task-Agnostic Continual Learning},
author = {Yuqing Zhao and Jiannong Cao and Divya Saxena and Xiaoyun Liu and Changlin Song and Bo Yuan and Julie McCann},
journal= {arXiv preprint arXiv:2408.10566},
year = {2025}
}