面向无监督持续学习的可塑性优化互补网络
机器学习
2023-09-13 v1 计算机视觉与模式识别
摘要
连续无监督表示学习（CURL）研究极大地受益于自监督学习（SSL）技术的改进。因此，现有使用 SSL 的 CURL 方法可以在无任何标签的情况下学习高质量表示，但在多任务数据流上学习时性能显著下降。我们假设这是由为防止遗忘而施加的正则化损失引起的，导致了次优的可塑性-稳定性权衡：它们要么不能完全适应输入数据（低可塑性），要么在允许完全适应新的 SSL 代理任务时产生显著遗忘（低稳定性）。在这项工作中，我们提出训练一个专家网络，使其免于保留先前知识的职责，从而专注于在新任务上取得最优表现（优化可塑性）。在第二阶段，我们在适应-回顾阶段将该新知识与前一网络结合以避免遗忘，并用旧网络的知识初始化一个新的专家。我们进行了若干实验，表明我们提出的方法在少任务和多数任务划分设置下均优于其他无样例的 CURL 方法。此外，我们展示了如何将我们的方法适配到半监督持续学习（Semi-SCL），并表明我们超越了其他无样例 Semi-SCL 方法的准确率，且达到了一些使用样例的方法的结果。
引用
@article{arxiv.2309.06086,
title = {Plasticity-Optimized Complementary Networks for Unsupervised Continual Learning},
author = {Alex Gomez-Villa and Bartlomiej Twardowski and Kai Wang and Joost van de Weijer},
journal= {arXiv preprint arXiv:2309.06086},
year = {2023}
}
备注
Accepted at WACV2024