学习预测梯度用于半监督持续学习
机器学习
2024-02-01 v2 计算机视觉与模式识别
摘要
机器智能的一个关键挑战是学习新的视觉概念而不遗忘先前获得的知识。持续学习旨在应对这一挑战。然而，现有的监督持续学习与类人智能之间存在差距，人类能够从有标签和无标签数据中学习。无标签数据如何影响持续学习过程中的学习以及灾难性遗忘仍未知。为探究这些问题，我们提出了一种新的半监督持续学习方法，可普遍应用于现有持续学习模型。具体而言，一种新颖的梯度学习器从有标签数据中学习以预测无标签数据上的梯度。因此，无标签数据可融入监督持续学习方法。与传统的半监督设定不同，我们不假设与无标签数据相关的底层类别为学习过程所知。换言之，无标签数据可能与有标签数据差异很大。我们在主流持续学习、对抗持续学习和半监督学习任务上评估了所提方法。所提方法在持续学习设定下于分类准确率和反向迁移上达到SOTA性能，同时在半监督学习设定下于分类准确率上取得预期性能。这意味着无标签图像能够增强持续学习模型对未见数据的预测能力的泛化性，并显著缓解灾难性遗忘。代码见 \url{https://github.com/luoyan407/grad_prediction.git}。
引用
@article{arxiv.2201.09196,
title = {Learning to Predict Gradients for Semi-Supervised Continual Learning},
author = {Yan Luo and Yongkang Wong and Mohan Kankanhalli and Qi Zhao},
journal= {arXiv preprint arXiv:2201.09196},
year = {2024}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems (TNNLS)