生成式低样本网络扩展
机器学习
2018-10-22 v1 机器学习
摘要
传统的深度学习分类器是静态的，即它们在预定义的类别集上训练，而学习分类新类别通常需要重新训练。本文中，我们解决低样本网络扩展学习问题。我们引入一种学习框架，当新类别的样本数特别少时，该框架能够扩展预训练（基）深度网络以分类新类别。我们提出一种简单而强大的硬蒸馏方法，其中基网络通过增加额外权重来分类新类别，同时保持基网络权重不变。我们表明，由于仅需训练少量权重，硬蒸馏在低样本训练场景中表现出色。此外，硬蒸馏避免了对基类别分类性能的损害。最后，我们展示通过使用基类别训练数据的紧凑生成模型，可以以极小的内存占用实现低样本网络扩展，相对于使用完整训练集学习仅产生可忽略的退化。
引用
@article{arxiv.1810.08363,
title = {Generative Low-Shot Network Expansion},
author = {Adi Hayat and Mark Kliger and Shachar Fleishman and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:1810.08363},
year = {2018}
}