用于提升CNN分类性能的多阶段特征去相关约束
计算机视觉与模式识别
2024-01-01 v2
摘要
对于用于模式分类的卷积神经网络（CNN），训练损失函数通常应用于网络的最终输出，除对网络参数的一些正则化约束外。然而，随着网络层数的增加，损失函数对网络前层的影响逐渐减弱，网络参数趋于陷入局部优化。同时，发现训练后的网络在各阶段特征上存在显著的信息冗余，降低了各阶段特征映射的有效性，不利于网络后续参数朝最优方向变化。因此，通过设计用于抑制前阶段特征并消除前阶段特征信息冗余的损失函数，有可能获得更优的网络解并进一步提升网络的分类精度。针对CNN，本文提出一种多阶段特征去相关损失（MFD Loss），通过约束各阶段特征的相关性来提炼有效特征并消除信息冗余。考虑到CNN层数较多，通过实验对比与分析，MFD Loss作用于CNN的多个前层，约束每一层及每一通道的输出特征，并在网络训练期间与分类损失函数联合进行监督训练。与单一的Softmax Loss监督学习相比，在若干典型CNN上的多个常用数据集上的实验证明Softmax Loss+MFD Loss的分类性能显著更优。同时，MFD Loss与若干其他典型损失函数组合前后的对比实验验证了其良好的通用性。
引用
@article{arxiv.2308.12880,
title = {Multi-stage feature decorrelation constraints for improving CNN classification performance},
author = {Qiuyu Zhu and Hao Wang and Xuewen Zu and Chengfei Liu},
journal= {arXiv preprint arXiv:2308.12880},
year = {2024}
}