DNN 自动调优的硬件感知初始化以改善探索时间与鲁棒性
机器学习
2022-06-01 v1 性能
摘要
利用 ML 模型与硬件在环优化 DNN 算子延迟的过程称为自动调优，已成为神经网络部署的普遍方法。从循环优化的搜索空间中，须选出提供最佳性能的候选。各配置的性能通过硬件测量评估。可能的组合配置爆炸式增长，加上硬件评估代价，使得实践中对搜索空间穷举探索不可行。随机森林或强化学习等机器学习方法被用于辅助选择候选以进行硬件评估。相较于手优化库（如 cuDNN），在 x86 与 GPGPU 等通用硬件上可实现令人印象深刻的性能提升。该方法在采用较少普及的硬件加速器领域同样有用，那里高性能库并非总可用。然而，硬件加速器在其编程上常较不灵活，导致算子配置无法在硬件目标上执行。本工作评估了这些无效配置如何影响 VTA 硬件的自动调优过程及其底层性能预测模型。基于这些结果，开发了 AutoTVM 的合法性驱动初始化方法，仅需求 41.6% 的必要硬件测量即可找到最优解，同时提升了搜索鲁棒性。
引用
@article{arxiv.2205.15568,
title = {HW-Aware Initialization of DNN Auto-Tuning to Improve Exploration Time and Robustness},
author = {Dennis Rieber and Moritz Reiber and Oliver Bringmann and Holger Fröning},
journal= {arXiv preprint arXiv:2205.15568},
year = {2022}
}