深度卷积神经网络隐藏层中自适应神经元判别准则与自适应中心损失
计算机视觉与模式识别
2020-04-20 v1
摘要
深度卷积神经网络（CNN）已广泛应用于图像分类，并比其他技术给出更好的分类精度。softmax 交叉熵损失函数常用于分类任务。已有一些工作在目标函数中引入附加项进行训练，以使输出层特征更具判别性。神经元判别准则通过将判别准则引入输出层每个神经元的特征，使输出层中每个神经元的输入特征具有判别性。类似地，中心损失被引入到 softmax 激活函数之前的特征中用于人脸识别，以使深度特征具有判别性。ReLU 函数常作为 CNN 隐藏层的激活函数使用。然而，观察到使用 ReLU 函数训练的深度特征判别性不足且呈现细长形状。在本文中，我们提出在输出层使用神经元判别准则，在隐藏层使用中心损失。此外，我们引入了利用指数遗忘对每个类别均值进行在线计算的方法。我们分别将其命名为自适应神经元判别准则和自适应中心损失。通过 MNSIT、FashionMNIST、CIFAR10、CIFAR100 和 STL10 上的实验，展示了自适应神经元判别准则与自适应中心损失集成的有效性。源代码位于 https://github.com/i13abe/Adaptive-discriminant-and-center
引用
@article{arxiv.2004.08074,
title = {Adaptive Neuron-wise Discriminant Criterion and Adaptive Center Loss at Hidden Layer for Deep Convolutional Neural Network},
author = {Motoshi Abe and Junichi Miyao and Takio Kurita},
journal= {arXiv preprint arXiv:2004.08074},
year = {2020}
}
备注
Accepted to IJCNN 2020