SteppingNet:一种具有增量精度增强的步进式神经网络
机器学习
2022-11-29 v1
摘要
在过去的几十年中,深度神经网络(DNNs)已成功应用于许多领域。然而,DNN 中不断增加的乘加(MAC)运算阻碍其在资源受限和资源动态变化的平台(例如手机和自动驾驶汽车)上的应用。在此类平台中,神经网络需要快速提供可接受的结果,并且结果的精度应能根据计算系统中可用的计算资源动态增强。为应对这些挑战,我们提出了一种称为 SteppingNet 的设计框架。SteppingNet 构建了一系列子网络,随着可用 MAC 运算的增多,其精度逐步增强。因此,该设计允许在精度与延迟之间进行权衡。此外,SteppingNet 中较大的子网络构建于较小的子网络之上,使得后者的结果可直接在前者的计算中复用而无需重新计算。这一特性使 SteppingNet 能够即时决定是否通过执行进一步的 MAC 运算来提升推理精度。实验结果表明,SteppingNet 提供了有效的增量精度提升,并且在相同计算资源限制下其推理精度持续优于现有最优工作。
引用
@article{arxiv.2211.14926,
title = {SteppingNet: A Stepping Neural Network with Incremental Accuracy Enhancement},
author = {Wenhao Sun and Grace Li Zhang and Xunzhao Yin and Cheng Zhuo and Huaxi Gu and Bing Li and Ulf Schlichtmann},
journal= {arXiv preprint arXiv:2211.14926},
year = {2022}
}
备注
accepted by DATE2023 (Design, Automation and Test in Europe)