深度神经网络紧凑化带来的隐忧
机器学习
2020-06-29 v1 机器学习
摘要
近期深度神经网络（DNNs）研究的趋势是使网络更加紧凑。设计紧凑 DNNs 的动机在于提升能效，因为凭借更小的内存占用，紧凑 DNNs 具有更少的片外访问次数，从而改善能效。然而，我们表明使 DNNs 紧凑化具有未被充分理解的间接且微妙的影响。减少 DNNs 中的参数数量会增加激活值的数量，进而增大内存占用。我们在 Tesla P100 GPU 上评估了若干近期提出的紧凑 DNNs，表明其“激活值与参数之比”介于 1.4 到 32.8 之间。此外，“内存占用与模型大小之比”介于 15 到 443 之间。这表明更多的激活值导致较大的内存占用，增加了片上/片外数据移动。而且，这些减少参数的技术降低了算术强度，从而增加了片上/片外内存带宽需求。由于这些因素，紧凑 DNNs 的能效可能显著降低，这与设计紧凑 DNNs 的初衷相悖。
引用
@article{arxiv.2006.15098,
title = {The Ramifications of Making Deep Neural Networks Compact},
author = {Nandan Kumar Jha and Sparsh Mittal and Govardhan Mattela},
journal= {arXiv preprint arXiv:2006.15098},
year = {2020}
}
备注
Accepted as a conference paper in 2019 32nd International Conference on VLSI Design and 2019 18th International Conference on Embedded Systems (VLSID)