深度神经网络的无损压缩
机器学习
2020-02-25 v3 数据结构与算法
最优化与控制
机器学习
摘要
深度神经网络在许多预测建模任务中取得了成功，例如图像与语言识别，其中常使用大型神经网络以获得良好精度。因此，在移动设备等有限计算资源下部署这些网络颇具挑战。在本工作中，我们引入一种算法，可在不改变网络输出的情况下移除神经网络的单元与层，从而实现无损压缩。我们将该算法记为 LEO（Lossless Expressiveness Optimization，无损表达优化），它依赖混合整数线性规划 (MILP) 来识别在输入域上具有线性行为的修正线性单元 (ReLUs)。通过使用 L1 正则化诱导此类行为，我们可受益于在比后续部署训练后神经网络的环境更大的架构上进行训练。
引用
@article{arxiv.2001.00218,
title = {Lossless Compression of Deep Neural Networks},
author = {Thiago Serra and Abhinav Kumar and Srikumar Ramalingam},
journal= {arXiv preprint arXiv:2001.00218},
year = {2020}
}
备注
CPAIOR 2020 (to appear)