面向高效卷积神经网络的结构化三值模式
计算机视觉与模式识别
2024-07-23 v1 人工智能
机器学习
摘要
高效深度学习模型不仅有助于其在资源受限设备上的应用，还能提高训练所需的资源。卷积神经网络 (ConvNets) 通常对本地设备资源提出严苛要求，这传统上限制了其在移动和嵌入式平台上的采用。本文提出一种方法，利用从局部二值模式 (LBPs) 和 Haar 特征中生成的静态卷积滤波器来设计高效 ConvNet 架构。这些被称为结构化三值模式 (STePs)，可在网络初始化时系统性地生成，而无需可学习的权重参数，从而减少总体权重更新。三值所需的存储量显著减少，并且通过合适的低层实现，还可导致推理改进。通过四个图像分类数据集验证了该方法，证明常用网络主干可更高效且表现竞争。还证明可以生成完全定制的基于 STeP 的网络，为无人机基于无人机的空中侦察检测等设备应用提供良好权衡。实验结果表明，所提出的方法在保持高检测准确率的同时，将可训练参数减少 40-80%。本工作激励了进一步研究良好的非可学习权重先验，以在不必更改网络期间或训练后即可提高深度学习架构的效率。
引用
@article{arxiv.2407.14831,
title = {Toward Efficient Convolutional Neural Networks With Structured Ternary Patterns},
author = {Christos Kyrkou},
journal= {arXiv preprint arXiv:2407.14831},
year = {2024}
}
备注
Published in: IEEE Transactions on Neural Networks and Learning Systems Code: https://github.com/ckyrkou/STeP_Models ImageNet-16 Dataset: https://zenodo.org/records/8027520