ENOS：面向混合数字与存内计算 DNN 加速器的能量感知网络算子搜索
系统与控制
2021-04-13 v1 机器学习
系统与控制
摘要
本工作提出一种新颖的能量感知网络算子搜索（ENOS）方法，以解决深度神经网络（DNN）加速器的能量-精度权衡问题。近年来，人们提出了新颖的推理算子以提高 DNN 的计算效率。在扩充算子的同时，其相应的新颖计算模式也得到了探索。然而，DNN 算子的简化不可避免地以精度降低为代价，尤其是在复杂处理任务上。我们提出的 ENOS 框架允许推理算子与计算模式的逐层最优集成，以实现所需的能量与精度平衡。ENOS 中的搜索被表述为一个连续优化问题，可使用典型的梯度下降方法求解，从而可扩展到更大的 DNN，且训练成本仅微小增加。我们在两种设置下表征 ENOS。在第一种设置中，针对数字加速器，我们讨论了可在不同算子间重构的乘累加（MAC）核上的 ENOS。讨论并比较了具有单层和双层优化目标的 ENOS 训练方法。我们还讨论了 ENOS 中的一种顺序算子分配策略，该策略在一步训练中仅学习一层的分配，从而在收敛至最优算子分配时具有更大灵活性。此外，遵循贝叶斯原理，还给出了一种基于采样的 ENOS 变分模式。ENOS 在 CIFAR10 和 CIFAR100 上的流行 DNN ShuffleNet 和 SqueezeNet 上进行了表征。
引用
@article{arxiv.2104.05217,
title = {ENOS: Energy-Aware Network Operator Search for Hybrid Digital and Compute-in-Memory DNN Accelerators},
author = {Shamma Nasrin and Ahish Shylendra and Yuti Kadakia and Nick Iliev and Wilfred Gomes and Theja Tulabandhula and Amit Ranjan Trivedi},
journal= {arXiv preprint arXiv:2104.05217},
year = {2021}
}