S2IL: 结构稳定的增量学习
计算机视觉与模式识别
2025-03-18 v1 机器学习
摘要
特征蒸馏（Feature Distillation, FD）策略已被证明能有效缓解类别增量学习（Class Incremental Learning, CIL）中的灾难性遗忘（Catastrophic Forgetting, CF）。然而，现有的 FD 方法在增量步骤之间强制严格对齐特征的幅值和方向，限制了模型适应新知识的能力。本文提出结构稳定的增量学习（S2IL），一种用于 CIL 的 FD 方法，通过聚焦于保持特征的整体空间模式来缓解 CF，从而促进灵活（可塑性）且稳定的表征，既保留旧知识（稳定性）又适应新知识。我们还展示了所提出的 S2IL 方法在 CIFAR-100、ImageNet-100 和 ImageNet-1K 等 SOTA 基准数据集上取得了强增量准确率，并优于其他 FD 方法。特别地，在增量任务数量较多的场景下，S2IL 以显著优势超越了其他方法。
引用
@article{arxiv.2503.12193,
title = {S2IL: Structurally Stable Incremental Learning},
author = {S Balasubramanian and Yedu Krishna P and Talasu Sai Sriram and M Sai Subramaniam and Manepalli Pranav Phanindra Sai and Darshan Gera},
journal= {arXiv preprint arXiv:2503.12193},
year = {2025}
}