Branch-Tuning：平衡持续自监督学习中的稳定性与可塑性
机器学习
2024-03-28 v1 计算机视觉与模式识别
摘要
自监督学习 (SSL) 已成为一种从大量无标签数据中提取通用表示的有效范式。然而，随着现实应用不断整合新内容，SSL 高昂的计算与资源需求使得持续学习成为必然，而非进行完全重训练。这在适应新信息时对平衡稳定性与可塑性提出了挑战。在本文中，我们采用 Centered Kernel Alignment 定量分析模型的稳定性和可塑性，揭示了批归一化层对稳定性的关键作用以及卷积层对可塑性的关键作用。受此启发，我们提出了 Branch-tuning，这是一种高效且直观的方法，能够在持续 SSL 中实现稳定性与可塑性的平衡。Branch-tuning 由分支扩展和压缩组成，可轻松应用于各种 SSL 方法，无需修改原始方法，也无需保留旧数据或模型。我们通过各种基准数据集上的增量实验验证了该方法，证明了其在现实场景中的有效性与实用价值。我们希望本研究能为未来的持续自监督学习研究提供新见解。代码将公开发布。
引用
@article{arxiv.2403.18266,
title = {Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning},
author = {Wenzhuo Liu and Fei Zhu and Cheng-Lin Liu},
journal= {arXiv preprint arXiv:2403.18266},
year = {2024}
}