低复杂度近似卷积神经网络
机器学习
2022-08-02 v1 计算复杂性
计算机视觉与模式识别
信号处理
统计方法学
摘要
本文提出一种降低已训练卷积神经网络（ConvNet）计算复杂度的方法。其思路是对给定 ConvNet 的所有元素进行近似，并以能够极大降低计算复杂度的有效近似替换原始卷积滤波器与参数（池化与偏置系数；以及激活函数）。低复杂度卷积滤波器通过基于二进（零一）线性规划方案、在二进有理数集上利用 Frobenius 范数获得。所得矩阵允许无乘法计算，仅需加法与移位操作。此类低复杂度结构为低功耗、高效硬件设计铺平了道路。我们将该方法应用于三个不同复杂度的用例：（i）用于人脸检测的“轻量”但高效的 ConvNet（约 1000 个参数）；（ii）另一个用于手写数字分类的 ConvNet（超过 180000 个参数）；（iii）显著更大的 ConvNet：含 120 万矩阵的 AlexNet。我们在不同近似层级下评估了各自任务上的整体性能。在所有考虑的应用中，均推导出了极低复杂度的近似，且保持了几乎一致的分类性能。
引用
@article{arxiv.2208.00087,
title = {Low-complexity Approximate Convolutional Neural Networks},
author = {R. J. Cintra and S. Duffner and C. Garcia and A. Leite},
journal= {arXiv preprint arXiv:2208.00087},
year = {2022}
}
备注
13 pages, 4 figures, 8 tables