用于高效深度学习的动态稀疏图
机器学习
2019-05-08 v2 机器学习
摘要
我们提出以动态稀疏图（DSG）结构执行深度神经网络（DNNs），以在训练与推理阶段均实现压缩内存与加速执行。DNNs 的巨大成功推动了轻量模型以部署到嵌入式设备上的研究。然而，以往多数研究仅优化推理而忽视甚至复杂化了训练。训练更为棘手，因为（i）神经元而非权重在推理中主导内存开销；（ii）动态激活使先前基于固定权重一次性优化的稀疏加速失效；（iii）批归一化（BN）对保持精度至关重要，但其激活重排破坏稀疏性。为解决这些问题，DSG 通过降维搜索（DRS）在每次迭代仅激活少量高选择性神经元，并通过双掩码选择（DMS）实现与 BN 的兼容。实验表明，在多个基准上以极小精度损失实现了显著内存节省（1.7–4.5 倍）与运算量减少（2.3–4.4 倍）。
引用
@article{arxiv.1810.00859,
title = {Dynamic Sparse Graph for Efficient Deep Learning},
author = {Liu Liu and Lei Deng and Xing Hu and Maohua Zhu and Guoqi Li and Yufei Ding and Yuan Xie},
journal= {arXiv preprint arXiv:1810.00859},
year = {2019}
}
备注
ICLR 2019