基于分层建模与对齐的数据无关持续学习模型反演
机器学习
2025-10-31 v1
摘要
持续学习（CL）旨在依次在多个任务上增量训练模型，同时保持对先前任务的性能。然而，由于隐私或安全限制，以及对任意预训练模型的不可行性，存储和回放数据往往不可行。数据无关 CL 寻求在没有访问先前数据的情况下更新模型。除了正则化外，我们采用模型反演技术从训练好的模型合成数据，从而实现无需存储样本的回放。然而，预测模型中的模型反演面临两个挑战：（1）仅凭压缩后的标签生成输入会导致合成数据与真实数据之间产生漂移，回放此类数据可能削弱先前知识；（2）反演计算成本高昂，因为每一步都要对整个模型进行反向传播。这些问题在如 CLIP 等大型预训练模型中尤为突出。为提高效率，我们提出分层模型反演（Per-layer Model Inversion, PMI），灵感来自单层优化收敛更快的事实。PMI 为完整模型反演提供强初始化，显著减少迭代次数。为缓解特征漂移，我们通过高斯分布和对比模型建模类别特征，确保合成特征与真实特征之间的对齐。结合 PMI 和特征建模，我们的方法能够通过从语义感知投影特征生成伪图像，实现对新类别的持续学习，在多个 CL 设置下实现卓越的有效性和兼容性。
引用
@article{arxiv.2510.26311,
title = {Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning},
author = {Ruilin Tong and Haodong Lu and Yuhang Liu and Dong Gong},
journal= {arXiv preprint arXiv:2510.26311},
year = {2025}
}
备注
Accepted in NeurIPS 2025