面向少样本类增量学习的软子网络
机器学习
2023-03-02 v2 人工智能
摘要
受正则化彩票假设（RLTH）的启发——该假设认为在稠密网络中存在平滑（非二元）子网络，其能达到与稠密网络相当的性能——我们提出一种称为软子网络（SoftNet）的少样本类增量学习（FSCIL）方法。我们的目标是以增量方式学习一系列会话，其中每个会话每类仅包含少量训练实例，同时保留先前所学知识的记忆。SoftNet 在一个基础训练会话中联合学习模型权重与自适应非二元软掩码，其中每个掩码由主子网络与次子网络构成；前者旨在最小化训练过程中的灾难性遗忘，后者旨在避免对每个新训练会话中少量样本的过拟合。我们提供了全面的实证验证，证明我们的 SoftNet 通过在基准数据集上超越最先进基线的性能，有效解决了少样本增量学习问题。
引用
@article{arxiv.2209.07529,
title = {On the Soft-Subnetwork for Few-shot Class Incremental Learning},
author = {Haeyong Kang and Jaehong Yoon and Sultan Rizky Hikmawan Madjid and Sung Ju Hwang and Chang D. Yoo},
journal= {arXiv preprint arXiv:2209.07529},
year = {2023}
}
备注
The Eleventh International Conference on Learning Representations (ICLR, 2023)