跨模型表示混合增强持续自监督学习的 CroMo-Mixup
计算机视觉与模式识别
2024-07-18 v1
摘要
持续自监督学习 (CSSL) 在未标记数据上顺序学习一系列任务。持续学习的两个主要挑战是灾难性遗忘和任务混淆。虽然已研究了 CSSL 以解决灾难性遗忘问题，但针对任务混淆方面的工作仍寡言少言。在本工作中，我们通过大量实验表明，自监督学习 (SSL) 可能使 CSSL 更易受任务混淆问题影响，尤其是在类递增学习的较少多样性设置下，因为属于不同任务的不同类未同时训练。在此挑战下，我们提出了一种新型跨模型特征 Mixup (CroMo-Mixup) 框架，通过两个关键组件来解决此问题：1) 跨任务数据 Mixup，通过在不同任务之间混合样本来增强负采样多样性；2) 跨模型特征 Mixup，通过学习来自混合样本及其原始图像的当前模型和旧模型所获得的嵌入，促进跨任务类对比学习和旧知识检索。我们在三个数据集上评估了 CroMo-Mixup 的有效性：CIFAR10、CIFAR100 和 tinyImageNet，分别处于不同的类递增学习设置下。我们验证了 CroMo-Mixup 在四种最先进的 SSL 目标上的兼容性。代码可在 \url{https://github.com/ErumMushtaq/CroMo-Mixup} 获取。
关键词
引用
@article{arxiv.2407.12188,
title = {CroMo-Mixup: Augmenting Cross-Model Representations for Continual Self-Supervised Learning},
author = {Erum Mushtaq and Duygu Nur Yaldiz and Yavuz Faruk Bakman and Jie Ding and Chenyang Tao and Dimitrios Dimitriadis and Salman Avestimehr},
journal= {arXiv preprint arXiv:2407.12188},
year = {2024}
}
备注
ECCV 2024