Accel-NASBench：面向硬件加速器感知 NAS 的可持续基准测试
机器学习
2024-06-19 v2 图像与视频处理
摘要
阻碍神经架构搜索（NAS）发展的主要挑战之一是其对昂贵计算资源的严重依赖。NAS 基准测试旨在以零成本模拟 NAS 实验的运行，从而弥补对大量计算的需求。然而，现有的 NAS 基准测试使用了合成数据集和模型代理，对这些数据集和模型的特性做出了简化的假设，导致评估不够真实。我们提出了一种技术，允许搜索训练代理，从而大幅降低基准测试的构建成本，使得为大规模数据集构建真实的 NAS 基准测试成为可能。利用该技术，我们为 ImageNet2012 数据集结合加速器（包括 GPU、TPU 和 FPGA）的设备端性能，构建了一个开源的双目标 NAS 基准测试。通过对各种 NAS 优化器和硬件平台进行大量实验，我们表明该基准测试是准确的，并允许以零成本搜索最先进的硬件感知模型。
引用
@article{arxiv.2404.08005,
title = {Accel-NASBench: Sustainable Benchmarking for Accelerator-Aware NAS},
author = {Afzal Ahmad and Linfeng Du and Zhiyao Xie and Wei Zhang},
journal= {arXiv preprint arXiv:2404.08005},
year = {2024}
}
备注
Accepted at Design Automation Conference DAC'24