内存高效的半监督持续学习：世界即其自身的回放缓冲
计算机视觉与模式识别
2021-05-07 v2 机器学习
摘要
重演是基于类的增量持续学习的关键组成部分，却需要大量内存预算。我们的工作探究能否在现实且具挑战性的持续学习范式下，通过利用智能体环境中的未标记数据来显著缩减该内存预算。具体而言，我们探索并形式化了一种新颖的半监督持续学习（SSCL）设定，其中标记数据稀缺，而来自智能体环境的非独立同分布未标记数据丰富。重要的是，SSCL 设定中的数据分布是现实的，因此反映了标记与未标记数据分布之间及各自内部的对象类别关联。我们展示了一种基于伪标记、一致性正则化、分布外（OoD）检测与知识蒸馏的策略可在此设定下减轻遗忘。我们的方法 DistillMatch 在 SSCL CIFAR-100 实验中，相较最先进水平将平均任务准确率提升了至少 8.7%，最高达 54.5%。此外，我们证明相较于次优方法仅节省 0.08 张存储图像，DistillMatch 每处理一张未标记图像最多可节省 0.23 张存储图像。我们的结果表明，关注现实的关联分布是一个显著新颖的视角，它凸显了利用世界结构作为持续学习策略的重要性。
引用
@article{arxiv.2101.09536,
title = {Memory-Efficient Semi-Supervised Continual Learning: The World is its Own Replay Buffer},
author = {James Smith and Jonathan Balloch and Yen-Chang Hsu and Zsolt Kira},
journal= {arXiv preprint arXiv:2101.09536},
year = {2021}
}
备注
Accepted by the 2021 International Joint Conference on Neural Networks (IJCNN 2021)