MinConvNets：一类无乘法神经网络
机器学习
2021-01-26 v1 神经与进化计算
摘要
卷积神经网络在图像分类、识别或检测应用中取得了前所未有的成功。然而，其在嵌入式设备中的大规模部署仍受巨大计算需求(即每层数百万次 MAC 操作)的限制。本文引入了 MinConvNets，其前向传播中的乘法由最小值比较器操作近似。最小值操作的硬件实现比乘法器简单得多。首先，提出了一种基于统计相关性寻找近似操作的方法。我们表明在特定约束下(即给定特征和权重向量相似的均值与方差)，可用最小值操作替代前向传播中的乘法器。提出了一种保证上述约束的改进训练方法。并表明通过使用训练良好的精确 CNN 的迁移学习，MinConvNets 在推理时可达到同等精度。
引用
@article{arxiv.2101.09492,
title = {MinConvNets: A new class of multiplication-less Neural Networks},
author = {Xuecan Yang and Sumanta Chaudhuri and Laurence Likforman and Lirida Naviner},
journal= {arXiv preprint arXiv:2101.09492},
year = {2021}
}