E2GC：深度神经网络中的节能分组卷积
摘要
分组卷积（GConv）中的组数（）被选取以在计算和参数高效的方式下提升深度神经网络（DNNs）的预测性能。然而，我们表明 GConv 中 的朴素选择会在计算复杂度和数据复用程度之间造成失衡，从而导致 DNNs 中次优的能效。我们设计了一个最优组大小模型，其能够在计算成本与数据移动成本之间实现平衡，从而优化 DNNs 的能效。基于该模型的见解，我们提出了“节能分组卷积”（E2GC）模块，其中与先前 GConv 实现不同，组大小（）保持恒定。此外，为证明 E2GC 模块的有效性，我们将该模块融入 MobileNet-V1 和 ResNeXt-50 的设计中，并在 P100 和 P4000 两块 GPU 上实验。我们表明，在计算复杂度相当的情况下，具有恒定组大小（E2GC）的 DNNs 比具有固定组数（FGC）的 DNNs 更具能效。例如，在 P100 GPU 上，当 E2GC 模块替代这两个 DNNs 中的 FGC 模块时，MobileNet-V1 和 ResNeXt-50 的能效分别提升了 10.8% 和 4.73%。此外，通过对 ImageNet-1K 和 Food-101 图像分类数据集的广泛实验，我们表明 E2GC 模块实现了 DNN 泛化能力与表征能力之间的权衡。因此，可通过选择合适的 来优化 DNNs 的预测性能。代码与训练模型见 https://github.com/iithcandle/E2GC-release。
引用
@article{arxiv.2006.15100,
title = {E2GC: Energy-efficient Group Convolution in Deep Neural Networks},
author = {Nandan Kumar Jha and Rajat Saini and Subhrajit Nag and Sparsh Mittal},
journal= {arXiv preprint arXiv:2006.15100},
year = {2020}
}
备注
Accepted as a conference paper in 2020 33rd International Conference on VLSI Design and 2020 19th International Conference on Embedded Systems (VLSID)