面向卷积神经网络滤波器级异构压缩的学习
计算机视觉与模式识别
2019-09-27 v4 机器学习
神经与进化计算
摘要
近年来，深度学习已成为机器学习的事实标准，卷积神经网络（CNN）在各种任务上取得了显著成功。然而，CNN在推理时通常计算需求非常高。在特定硬件平台上减轻这一负担的方法之一是量化，即对权重和激活使用低精度算术表示。另一种流行方法是修剪每层中的滤波器数量。主流深度学习方法在训练神经网络权重时保持网络架构固定，而新兴的神经架构搜索（NAS）技术使得架构也可训练。在本文中，我们将最优算术位长分配和神经网络剪枝表述为一个NAS问题，搜索满足计算复杂度预算同时最大化精度的配置。我们使用基于Liu等人（arXiv:1806.09055）提出的搜索空间连续松弛的可微搜索方法。通过网格搜索，我们表明异构量化网络存在高方差，这使得搜索的益处存疑。对于剪枝，相比同质情况有可能改进，但用所提方法找到这些配置仍然具有挑战性。代码公开于https://github.com/yochaiz/Slimmable和https://github.com/yochaiz/darts-UNIQ。
引用
@article{arxiv.1904.09872,
title = {Towards Learning of Filter-Level Heterogeneous Compression of Convolutional Neural Networks},
author = {Yochai Zur and Chaim Baskin and Evgenii Zheltonozhskii and Brian Chmiel and Itay Evron and Alex M. Bronstein and Avi Mendelson},
journal= {arXiv preprint arXiv:1904.09872},
year = {2019}
}
备注
Accepted to ICML Workshop on AutoML 2019