用于少样本类增量学习的子空间正则化器
计算机视觉与模式识别
2022-02-22 v2 机器学习
摘要
少样本类增量学习——即更新已训练分类器以利用有限标注数据区分扩展后类别集合的问题——是在非平稳环境中部署的机器学习系统的关键挑战。现有方法依赖复杂的模型架构和训练流程，难以调参和复用。本文中，我们提出一种极简方法，使普通逻辑回归分类器可用于少样本增量学习。该方法的关键在于一组新的子空间正则化方案，其鼓励新类的权重向量靠近由现有类权重所张成的子空间。当与预训练的卷积特征提取器结合时，采用子空间正则化训练的逻辑回归模型在 miniImageNet 数据集上比专门的少样本增量图像分类前沿方法高出至多 22%。因其简洁性，子空间正则化可直接扩展以融入关于新类的额外背景信息（包括自然语言指定的类名与描述）；这些进一步将准确率提升至多 2%。我们的结果表明，对类表示的简单几何正则化可为持续学习提供有效工具。
引用
@article{arxiv.2110.07059,
title = {Subspace Regularizers for Few-Shot Class Incremental Learning},
author = {Afra Feyza Akyürek and Ekin Akyürek and Derry Tanti Wijaya and Jacob Andreas},
journal= {arXiv preprint arXiv:2110.07059},
year = {2022}
}
备注
ICLR 2022. Code is available through https://github.com/feyzaakyurek/subspace-reg