基于神经坍缩对比学习的内存高效持续学习
计算机视觉与模式识别
2024-12-09 v3 人工智能
机器学习
摘要
对比学习显著提升了表征质量，增强了跨任务在持续学习（Continual Learning, CL）中的知识迁移。然而，灾难性遗忘仍是关键挑战，因为基于对比的方法主要关注样本之间的“软关系”或“软性”，随着数据分布的变化而变化，导致表征在不同任务之间重叠。最近发现，神经坍缩（Neural Collapse）现象在CL中表现出色，通过关注样本之间的“硬关系”或“硬度”以及固定原型，展现出潜力。然而，该方法忽略了对于捕捉类内变异性的“软性”，且这种僵化的关注也可能将旧类的表征拉向当前类，从而增加遗忘。基于这些洞见，我们提出了Focal Neural Collapse Contrastive（FNC^2），一种新型表示学习损失函数，有效平衡软硬关系。此外，我们引入Hardness-Softness Distillation（HSD）损失，以逐步保存跨任务从这些关系中获得的知识。我们的方法在性能上超过了最先进的方法，尤其在降低内存依赖方面表现突出。值得注意的是，即使不使用存储，本方法也能与基于排练的方法相抗衡，为数据隐私问题提供了引人注目的解决方案。
引用
@article{arxiv.2412.02865,
title = {Memory-efficient Continual Learning with Neural Collapse Contrastive},
author = {Trung-Anh Dang and Vincent Nguyen and Ngoc-Son Vu and Christel Vrain},
journal= {arXiv preprint arXiv:2412.02865},
year = {2024}
}
备注
Accepted at WACV 2025