防止在在线持续自监督学习中的潜在重hearsal 衰减：SOLAR 方法
机器学习
2026-04-14 v1 计算机视觉与模式识别
摘要
本文探讨了在线持续自监督学习（OCSSL）问题，即模型从连续的无标签、非平稳数据流中学习，其中方法通常采用重播技术且快速收敛是核心需求。我们发现，OCSSL需要特别关注稳定-塑性权衡：稳定方法（如基于储位采样的重播）在收敛速度上优于塑性方法（如FIFO缓冲区），但在特定条件下会导致性能下降。我们通过潜在重播衰减假设解释了这一崩溃现象，将其归因于重播稳定性过高导致的潜在空间退化。我们引入两种指标（重叠度和偏差），用于诊断潜在退化并与准确率下降相关。基于这些洞见，我们提出了SOLAR，利用偏差的高效在线代理指导缓冲区管理，并纳入显式的重叠损失，使SOLAR能够适应性地管理塑性。实验表明，SOLAR在OCSSL视觉基准测试中实现了最先进的性能，同时具备高收敛速度和最终性能。
引用
@article{arxiv.2604.10586,
title = {Preventing Latent Rehearsal Decay in Online Continual SSL with SOLAR},
author = {Giacomo Cignoni and Simone Magistri and Andrew D. Bagdanov and Antonio Carta},
journal= {arXiv preprint arXiv:2604.10586},
year = {2026}
}