LightLayers:用于图像分类的参数高效稠密层与卷积层
计算机视觉与模式识别
2021-01-08 v1
摘要
深度神经网络(DNN)已成为计算机视觉以及许多其他模式识别任务的事实标准。DNN 的一个关键缺陷是训练阶段可能非常耗费计算资源。无法负担购买最先进硬件或接入云托管基础设施的组织或个人,可能在训练完成前面临漫长等待时间,或根本无法训练模型。探究减少训练时间的新方法可能是缓解此缺陷的潜在方案,从而加速新算法与模型的开发。本文中,我们提出 LightLayers,一种减少深度神经网络(DNN)中可训练参数数量的方法。所提出的 LightLayers 由 LightDense 和 LightConv2D 层组成,其效率与常规 Conv2D 和 Dense 层相当,但使用更少参数。我们借助矩阵分解降低 DNN 模型的复杂度,从而得到需要更少计算力且精度损失不大的轻量 DNN 模型。我们在 MNIST、Fashion MNIST、CIFAR-10 和 CIFAR 100 数据集上测试了 LightLayers。对于 MNIST、Fashion MNIST、CIFAR-10 数据集取得了有前景的结果,而 CIFAR 100 在使用更少参数的情况下表现出可接受的性能。
引用
@article{arxiv.2101.02268,
title = {LightLayers: Parameter Efficient Dense and Convolutional Layers for Image Classification},
author = {Debesh Jha and Anis Yazidi and Michael A. Riegler and Dag Johansen and Håvard D. Johansen and Pål Halvorsen},
journal= {arXiv preprint arXiv:2101.02268},
year = {2021}
}