利用熵约束训练三值化(EC2T)学习稀疏与三值神经网络
机器学习
2022-04-12 v2 信息论
math.IT
机器学习
摘要
深度神经网络(DNN)已在多种机器学习应用中展现出显著成功。这些模型的容量(即参数数量)赋予了它们表达力,并使其达到预期性能。近年来,将DNN部署到能量、内存和计算预算受限的资源受限设备(如移动设备)上的兴趣日益增长。为解决此问题,我们提出熵约束训练三值化(Entropy-Constrained Trained Ternarization, EC2T),一种用于创建稀疏与三值神经网络的通用框架,该框架在存储(例如,保存一个权重矩阵至多需要两个二值掩码和两个全精度值)和计算(例如,MAC运算被简化为少量累加加两次乘法)方面均高效。该方法包含两步。首先,通过扩展预训练模型的维度(即其宽度和深度)创建一个超网络。随后,在训练过程中同时对该超网络进行剪枝(使用熵约束)和量化(即逐层分配三值),得到稀疏且三值的网络表示。我们在CIFAR-10、CIFAR-100和ImageNet数据集上验证了所提方法,展示了其在图像分类任务中的有效性。
引用
@article{arxiv.2004.01077,
title = {Learning Sparse & Ternary Neural Networks with Entropy-Constrained Trained Ternarization (EC2T)},
author = {Arturo Marban and Daniel Becking and Simon Wiedemann and Wojciech Samek},
journal= {arXiv preprint arXiv:2004.01077},
year = {2022}
}
备注
Proceedings of the CVPR'20 Joint Workshop on Efficient Deep Learning in Computer Vision. Code is available at https://github.com/d-becking/efficientCNNs