OSLNet：具有正交Softmax层的深度小样本分类
计算机视觉与模式识别
2020-07-15 v1
摘要
多层非线性的深度神经网络构成一大函数空间，遇小样本数据时易致过拟合。为缓解小样本分类中的过拟合，从小样本数据学习更具判别性特征正成为新趋势。为此，本文旨在寻找可促进大决策裕度的神经网络子空间。具体地，我们提出正交Softmax层（OSL），使分类层中的权重向量在训练与测试过程中保持正交。使用OSL的网络其Rademacher复杂度仅为使用全连接分类层网络的 （为类别数），从而得到更紧的泛化误差界。实验结果表明，所提OSL在四个小样本基准数据集上优于对比方法，且适用于大样本数据集。代码见：https://github.com/dongliangchang/OSLNet。
引用
@article{arxiv.2004.09033,
title = {OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer},
author = {Xiaoxu Li and Dongliang Chang and Zhanyu Ma and Zheng-Hua Tan and Jing-Hao Xue and Jie Cao and Jingyi Yu and Jun Guo},
journal= {arXiv preprint arXiv:2004.09033},
year = {2020}
}
备注
TIP 2020. Code available at https://github.com/dongliangchang/OSLNet