用于鲁棒半监督持续学习的动态子图蒸馏
机器学习
2025-01-15 v2 计算机视觉与模式识别
摘要
持续学习（CL）已显示出有希望的结果，其性能可与全监督模式下的一次性学习相媲美。然而，CL 策略通常需要大量标记样本，这使得其在现实生活中的部署具有挑战性。在这项工作中，我们专注于半监督持续学习（SSCL），即模型从带有未知类别的部分标记数据中逐步学习。我们对 SSCL 进行了全面分析，并表明未标记数据的不可靠分布会导致训练不稳定以及进行阶段的细化困难。这个问题严重影响了 SSCL 的性能。为了解这些局限性，我们提出了一种名为动态子图蒸馏（DSGD）的新颖方法，用于半监督持续学习，该方法利用语义和结构信息，在未标记数据上实现更稳定的知识蒸馏，并表现出对分布偏差的鲁棒性。首先，我们形式化了结构蒸馏的通用模型，并为持续学习进程设计了动态图构建。接下来，我们定义了结构蒸馏向量并设计了动态子图蒸馏算法，该算法支持端到端训练并适应任务规模的扩展。整个提出的方法可适应各种 CL 方法和监督设置。最后，在 CIFAR10、CIFAR100 和 ImageNet-100 三个数据集上进行的实验，采用不同的监督比例，证明了我们提出的方法在缓解半监督持续学习场景中的灾难性遗忘问题方面的有效性。
引用
@article{arxiv.2312.16409,
title = {Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning},
author = {Yan Fan and Yu Wang and Pengfei Zhu and Qinghua Hu},
journal= {arXiv preprint arXiv:2312.16409},
year = {2025}
}