Apollo：可迁移的架构探索
机器学习
2021-02-04 v1 硬件体系结构
摘要
摩尔定律的临近终结与深度学习的日益使用，驱动了针对特定神经架构优化的定制加速器的设计。此类加速器的架构探索构成了一个具有复杂、高维且结构化输入空间以及评估代价高昂的目标函数的受限优化难题。现有的加速器设计方法样本效率低，且不能在具有不同设计约束（如面积和/或延迟预算，或神经架构配置）的相关优化任务之间迁移知识。在本工作中，我们提出了一个名为 Apollo 的可迁移架构探索框架，它利用黑盒函数优化的最新进展实现样本高效的加速器设计。我们使用该框架在替代设计约束下优化多种神经架构的加速器配置。我们表明，相比基线黑盒优化方法，我们的框架能更样本高效地找到高回报设计配置（最高 24.6% 加速）。我们进一步表明，通过在具有不同设计约束的目标架构间迁移知识，Apollo 能够更快地找到最优配置，且通常具有更好的目标值（最高 25% 提升）。这一令人鼓舞的结果描绘了一条促进生成更高质量加速器的前景之路。
引用
@article{arxiv.2102.01723,
title = {Apollo: Transferable Architecture Exploration},
author = {Amir Yazdanbakhsh and Christof Angermueller and Berkin Akin and Yanqi Zhou and Albin Jones and Milad Hashemi and Kevin Swersky and Satrajit Chatterjee and Ravi Narayanaswami and James Laudon},
journal= {arXiv preprint arXiv:2102.01723},
year = {2021}
}
备注
10 pages, 5 figures, Accepted to Workshop on ML for Systems at the 34th Conference on Neural Information Processing Systems (NeurIPS 2020)