面向全连接层的 ProgressiveSpinalNet 架构
机器学习
2021-03-23 v1 计算机视觉与模式识别
摘要
在深度学习模型中，FC（全连接）层基于前层所学特征进行分类具有最重要的作用。FC 层具有最多数量的参数，微调这些大量参数消耗了大部分计算资源，因此本文旨在以提升的性能显著减少这些大量参数。其动机受 SpinalNet 及其他生物架构启发。所提架构在输入与输出层间具有梯度高速公路，解决了深度网络中的梯度消失问题。其中所有层接收来自前层的输入以及 CNN 层输出，从而所有层均与最后一层一起参与决策。该方法相较 SpinalNet 架构提升了分类性能，并在 Caltech101、KMNIST、QMNIST 和 EMNIST 等许多数据集上取得 SOTA 性能。源代码发布于 https://github.com/praveenchopra/ProgressiveSpinalNet。
引用
@article{arxiv.2103.11373,
title = {ProgressiveSpinalNet architecture for FC layers},
author = {Praveen Chopra},
journal= {arXiv preprint arXiv:2103.11373},
year = {2021}
}