中文

用于持续半监督学习的超网络

机器学习 2021-10-06 v1 计算机视觉与模式识别 机器学习

摘要

从顺序到达的数据中学习(可能以非独立同分布方式),且任务分布随时间变化,称为持续学习。迄今为止持续学习的大部分工作聚焦于监督学习,一些近期工作关注无监督学习。在许多领域中,每个任务包含少量有标签和大量无标签训练样本的混合,这需要半监督学习方法。为在持续学习设定中解决此问题,我们提出一种称为持续半监督学习的元整合(MCSSL)的半监督持续学习框架。我们的框架具有一个超网络,其学习生成半监督辅助分类器生成对抗网络(Semi-ACGAN)(\textit{Semi-ACGAN})作为基础网络的权重的元分布。我们在超网络中整合顺序任务的知识,而基础网络学习半监督学习任务。此外,我们提出Semi-Split CIFAR-10\textit{Semi-Split CIFAR-10},一个通过修改Split CIFAR-10\textit{Split CIFAR-10}数据集得到的持续半监督学习新基准,其中带有有标签和无标签数据的任务顺序到达。我们提出的模型在持续半监督学习设定中取得显著改进。我们在提出的Semi-Split CIFAR-10数据集持续半监督学习基准上比较了几种现有持续学习方法的性能。

关键词

引用

@article{arxiv.2110.01856,
  title  = {Hypernetworks for Continual Semi-Supervised Learning},
  author = {Dhanajit Brahma and Vinay Kumar Verma and Piyush Rai},
  journal= {arXiv preprint arXiv:2110.01856},
  year   = {2021}
}

备注

Accepted to CSSL workshop at IJCAI 2021 (Best Student Paper Award)