SpinalNet：具有渐进式输入的深度神经网络
计算机视觉与模式识别
2024-07-16 v3 机器学习
神经与进化计算
图像与视频处理
摘要
深度神经网络（DNNs）已在众多领域取得最先进的性能。然而，DNNs 需要较高的计算时间，人们总是期望以更低的计算量获得更好的性能。因此，我们研究人体体感系统并设计了一种神经网络（SpinalNet）以用更少的计算实现更高的准确率。传统神经网络中的隐藏层接收前一层的输入，应用激活函数，然后将结果传递给下一层。在提出的 SpinalNet 中，每一层被划分为三个部分：1）输入部分，2）中间部分，3）输出部分。每一层的输入部分接收一部分输入。每一层的中间部分接收前一层中间部分的输出和当前层输入部分的输出。传入权重的数量显著低于传统 DNNs。SpinalNet 也可用作 DNN 的全连接层或分类层，并支持传统学习和迁移学习。我们在大多数 DNNs 中观察到以更低计算成本实现的显著误差降低。采用 SpinalNet 分类层的 VGG-5 网络的传统学习在 QMNIST、Kuzushiji-MNIST、EMNIST（Letters、Digits 和 Balanced）数据集上提供了最先进的（SOTA）性能。使用 ImageNet 预训练初始权重和 SpinalNet 分类层的传统学习在 STL-10、Fruits 360、Bird225 和 Caltech-101 数据集上提供了 SOTA 性能。所提出的 SpinalNet 的脚本可在以下链接获取：https://github.com/dipuk0506/SpinalNet
引用
@article{arxiv.2007.03347,
title = {SpinalNet: Deep Neural Network with Gradual Input},
author = {H M Dipu Kabir and Moloud Abdar and Seyed Mohammad Jafar Jalali and Abbas Khosravi and Amir F Atiya and Saeid Nahavandi and Dipti Srinivasan},
journal= {arXiv preprint arXiv:2007.03347},
year = {2024}
}