神经架构的硬件/软件协同探索
机器学习
2020-01-14 v2 神经与进化计算
摘要
我们提出了一种用于高效神经架构搜索（NAS）的新型硬件与软件协同探索框架。不同于现有假设固定硬件设计且仅探索神经架构搜索空间的硬件感知 NAS，我们的框架同时探索架构搜索空间与硬件设计空间，以识别在测试精度与硬件效率上均最优的神经架构与硬件配对。这种做法极大拓展了设计自由度，并推进了硬件效率与测试精度之间的帕累托前沿，以实现更好的设计权衡。该框架迭代地执行两级（快速与慢速）探索。无需冗长训练，快速探索即可依据硬件规格有效微调超参数并剪除劣质架构，显著加速 NAS 过程。随后，慢速探索在验证集上训练候选者，并使用强化学习更新控制器，以最大化预期精度与硬件效率。在 ImageNet 上的实验表明，与最先进的硬件感知 NAS 相比，我们的协同探索 NAS 能以相同精度找到神经架构及相应硬件设计，且吞吐量高 35.24%、能效高 54.05%、搜索时间减少 136 倍。
引用
@article{arxiv.1907.04650,
title = {Hardware/Software Co-Exploration of Neural Architectures},
author = {Weiwen Jiang and Lei Yang and Edwin Sha and Qingfeng Zhuge and Shouzhen Gu and Sakyasingha Dasgupta and Yiyu Shi and Jingtong Hu},
journal= {arXiv preprint arXiv:1907.04650},
year = {2020}
}
备注
10 pages