通过不规则卷积核学习高效卷积网络
计算机视觉与模式识别
2023-02-21 v1
摘要
随着深度神经网络日益应用于适合低功耗设备的场景,一个基本困境显现出来:趋势是增大模型以吸收日益增长的数据,这导致内存密集;然而低功耗设备设计的内存非常有限,无法存储大型模型。参数剪枝对于深度模型在低功耗设备上的部署至关重要。现有工作主要集中于设计高效结构或剪枝网络中的冗余连接。它们通常对任务敏感或依赖专用且昂贵的哈希存储策略。本文中,我们从重构卷积核结构与高效存储的角度出发,引入一种实现轻量模型的新方法。我们的方法将传统方形卷积核变换为线段,并自动学习一种恰当策略来配置这些线段以建模多样特征。实验结果表明,我们的方法可大幅减少参数数量(在 DenseNet-40 上剪枝 69%)与计算量(在 DenseNet-40 上剪枝 59%),同时保持可接受的性能(精度损失小于 2%)。
引用
@article{arxiv.1909.13239,
title = {Learning Efficient Convolutional Networks through Irregular Convolutional Kernels},
author = {Weiyu Guo and Jiabin Ma and Liang Wang and Yongzhen Huang},
journal= {arXiv preprint arXiv:1909.13239},
year = {2023}
}