用于加速深度神经网络优化的硬件感知系统
人工智能
2022-03-01 v1
摘要
近期从与硬件无关的“超网络”中提取专用硬件感知配置（即“子网络”）的神经架构搜索（NAS）进展日益流行。尽管在改进第一阶段即超网络训练方面已投入大量努力，但对衍生高性能子网络的搜索仍很大程度上未被充分探索。例如，一些近期的网络态射技术允许超网络被训练一次，随后按需从中提取硬件专用网络。这些方法将超网络训练与子网络搜索解耦，从而降低了针对不同的硬件平台进行专门化的计算负担。我们提出一个综合系统，可自动且高效地从预训练超网络中找到针对不同的性能指标与硬件配置优化的子网络。通过结合新颖搜索策略与算法以及对预测器的智能使用，我们显著减少了从给定超网络寻找最优子网络所需时间。此外，我们的方法无需超网络事先针对目标任务精调，因而可对接任意超网络。我们通过大量实验证明，本系统可无缝作用于多个领域中现有的最先进超网络训练方法。而且，我们展示了新颖搜索策略与进化算法相结合如何加速ResNet50、MobileNetV3和Transformer的搜索过程，同时保持目标空间帕累托前沿多样性，并展示出比最先进贝叶斯优化WeakNAS方法快8倍的搜索结果。
引用
@article{arxiv.2202.12954,
title = {A Hardware-Aware System for Accelerating Deep Neural Network Optimization},
author = {Anthony Sarah and Daniel Cummings and Sharath Nittur Sridhar and Sairam Sundaresan and Maciej Szankin and Tristan Webb and J. Pablo Munoz},
journal= {arXiv preprint arXiv:2202.12954},
year = {2022}
}