掩码自编码器是高效的类增量学习器
计算机视觉与模式识别
2023-08-25 v1 人工智能
机器学习
摘要
类增量学习（CIL）旨在顺序学习新类的同时避免对先前知识的灾难性遗忘。我们提出使用掩码自编码器（MAEs）作为CIL的高效学习器。MAEs最初设计用于通过重构式无监督学习获取有用表示，且可轻易与分类的监督损失结合。此外，MAEs能从随机选取的图像块可靠地重构原始输入图像，我们借此为CIL更高效地存储过往任务的样本。我们还提出了一个双边MAE框架，从图像级与嵌入级融合中学习，其产生更高质量的重构图像与更稳定的表示。我们的实验证实，我们的方法在CIFAR-100、ImageNet-Subset与ImageNet-Full上优于最先进水平。代码见 https://github.com/scok30/MAE-CIL 。
引用
@article{arxiv.2308.12510,
title = {Masked Autoencoders are Efficient Class Incremental Learners},
author = {Jiang-Tian Zhai and Xialei Liu and Andrew D. Bagdanov and Ke Li and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2308.12510},
year = {2023}
}
备注
Accepted at ICCV 2023