Data-Distill-Net：面向基于回放的持续学习的数据蒸馏方法
机器学习
2025-05-29 v2
摘要
基于回放的持续学习（CL）方法假设，在小子集上训练的模型也能有效最小化完整数据集的经验风险。这些方法维护一个记忆缓冲区，存储来自先前任务的采样数据子集以巩固过去知识。然而，由于记忆缓冲区容量有限以及用于缓冲区数据选择的启发式准则，该假设在实践中无法得到保证。为了解决此问题，我们提出了一种专为 CL 量身定制的新数据集蒸馏框架，该框架维护一个可学习的记忆缓冲区，以从当前任务数据和先前记忆缓冲区中保留的累积知识中蒸馏全局信息。此外，为了避免在蒸馏过程中对整个缓冲区进行参数化所带来的计算开销和过拟合风险，我们引入了一个轻量级蒸馏模块，该模块仅通过为记忆缓冲区数据生成可学习的软标签即可实现全局信息蒸馏。大量实验表明，我们的方法能够取得有竞争力的结果，并在各种数据集上有效缓解遗忘。源代码将公开发布。
引用
@article{arxiv.2505.20135,
title = {Data-Distill-Net: A Data Distillation Approach Tailored for Reply-based Continual Learning},
author = {Wenyang Liao and Quanziang Wang and Yichen Wu and Renzhen Wang and Deyu Meng},
journal= {arXiv preprint arXiv:2505.20135},
year = {2025}
}