SCALE：无先验知识的在线自监督终身学习
机器学习
2023-04-12 v5 人工智能
摘要
无监督终身学习是指在无监督情况下随时间学习并记忆先前模式的能力。尽管该方向已取得重大进展，现有工作常假设对输入数据有强先验知识（例如知晓类别边界），而在复杂且不可预测的环境中这往往无法获得。本文受现实场景驱动，提出一个更实际的问题设定，称为无先验知识的在线自监督终身学习。该设定因非独立同分布和单次遍历数据、缺乏外部监督以及无先验知识而具挑战性。为应对挑战，我们提出无先验知识的自监督对比终身学习（SCALE），它可纯粹从连续数据流中即时提取并记忆表征。SCALE 围绕三个主要组件设计：伪监督对比损失、自监督遗忘损失以及用于均匀子集选择的在线记忆更新。三者协同工作以最大化学习性能。我们在独立同分布和四种非独立同分布数据流下对 SCALE 进行了全面实验。结果表明，SCALE 在所有设定下均优于最先进算法，在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上以 kNN 准确率计分别提升达 3.83%、2.77% 和 5.86%。
引用
@article{arxiv.2208.11266,
title = {SCALE: Online Self-Supervised Lifelong Learning without Prior Knowledge},
author = {Xiaofan Yu and Yunhui Guo and Sicun Gao and Tajana Rosing},
journal= {arXiv preprint arXiv:2208.11266},
year = {2023}
}
备注
Accepted by CLVision'23