面向少样本类增量学习的可学习扩展—压缩网络
计算机视觉与模式识别
2021-04-07 v1
摘要
少样本类增量学习（FSCIL）旨在少量监督下持续扩展模型的表征能力，是一个重要且具有挑战性的问题。一方面，在拟合新任务（新类）时，基于旧任务（旧类）训练的特征可能发生显著漂移，导致灾难性遗忘。另一方面，用少样本新类样本训练大量模型参数会导致模型过拟合。本文中，我们提出一种可学习扩展—压缩网络（LEC-Net），旨在统一框架中同时解决灾难性遗忘与模型过拟合问题。通过试探性扩展网络节点，LEC-Net 扩大了特征的表征容量，从模型正则化角度缓解旧网络的特征漂移。通过压缩扩展的网络节点，LEC-Net 追求模型参数的最小增量，从紧凑表征角度缓解扩展网络的过拟合。在 CUB/CIFAR-100 数据集上的实验表明，LEC-Net 较基线提升 5~7%，且优于当前最优方法（SOTA）5~6%。LEC-Net 还展现出作为一种具备动态模型扩展能力的通用增量学习方法的潜力。
引用
@article{arxiv.2104.02281,
title = {Learnable Expansion-and-Compression Network for Few-shot Class-Incremental Learning},
author = {Boyu Yang and Mingbao Lin and Binghao Liu and Mengying Fu and Chang Liu and Rongrong Ji and Qixiang Ye},
journal= {arXiv preprint arXiv:2104.02281},
year = {2021}
}