MAPLE-X：融合显式微处理器先验知识的延迟预测
机器学习
2022-05-26 v1 人工智能
摘要
深度神经网络（DNN）延迟表征是一个耗时的过程，在为嵌入式视觉应用搜索高效卷积神经网络时，给神经架构搜索（NAS）流程带来显著成本。DNN 延迟是依赖于硬件的指标，需在目标硬件上直接测量或推断。近期提出的名为 MAPLE 的延迟估计技术，利用硬件性能计数器预测 DNN 在未见过的硬件设备上的执行时间。MAPLE 以隐式先验形式借助这些硬件计数器，在延迟预测中达到最先进性能。本文提出 MAPLE-X，在 MAPLE 基础上引入硬件设备与 DNN 架构延迟的显式先验知识，以更好地兼顾模型的稳定性与鲁棒性。首先，通过识别彼此延迟相近的 DNN 架构，可生成多个虚拟样本，显著提升相较 MAPLE 的精度。其次，利用硬件规格确定训练与测试硬件间的相似性，以强调来自相近设备（域）的训练样本，并促进改进的域对齐。基于卷积神经网络 NAS 基准在不同类型设备（包括现用于嵌入式视觉应用的 Intel 处理器）上的实验结果表明，较 MAPLE 提升 5%，较 HELP 提升 9%。此外，我们进行了消融实验，以独立评估虚拟样本与基于硬件的样本重要性的益处。
引用
@article{arxiv.2205.12660,
title = {MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge},
author = {Saad Abbasi and Alexander Wong and Mohammad Javad Shafiee},
journal= {arXiv preprint arXiv:2205.12660},
year = {2022}
}
备注
6 pages, 4 figures