PABO：面向高效神经加速器设计的伪基于智能体多目标贝叶斯超参数优化
机器学习
2019-06-20 v1 新兴技术
神经与进化计算
最优化与控制
机器学习
摘要
深度神经网络（DNN）日益增长的计算成本以及对用于 DNN 加速的节能硬件的需求，使得 DNN 的精度与硬件成本协同优化极为重要，尤其对于边缘设备。由于参数空间庞大且评估搜索空间中每个参数的代价高昂，手动调整 DNN 超参数并不现实。对此类问题，自动联合 DNN 与硬件超参数优化不可或缺。基于贝叶斯优化的方法在 DNN 超参数优化中已显示出有前景的结果。然而，这些技术大多在未考虑底层硬件的情况下开发，从而导致低效设计。此外，少数进行联合优化的工作缺乏泛化能力，且主要关注基于 CMOS 的架构。在本工作中，我们提出一种新颖的伪基于智能体多目标超参数优化（PABO），以在获得低硬件成本的同时最大化 DNN 性能。与现有方法相比，我们的工作提出了一种理论上有别的联合优化精度与硬件成本的方法，并聚焦于基于忆阻器交叉阵列的加速器。PABO 使用监督智能体在网络精度与硬件成本需求的 posterior 高斯分布模型之间建立联系。该智能体通过移除采集函数的不必要计算与更新，降低了协同优化问题的数学复杂度，从而显著加速优化过程。PABO 输出一个 Pareto 前沿，凸显高准确率设计与硬件效率之间的权衡。我们的结果表明，在准确率与计算速度（约 100 倍加速）方面均优于最先进（SOTA）方法。
引用
@article{arxiv.1906.08167,
title = {PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design},
author = {Maryam Parsa and Aayush Ankit and Amirkoushyar Ziabari and Kaushik Roy},
journal= {arXiv preprint arXiv:1906.08167},
year = {2019}
}
备注
8 pages, 8 figures