利用硬件成本多样性的多目标硬件感知神经架构搜索
机器学习
2024-04-22 v1 人工智能
摘要
硬件感知神经架构搜索方法（HW-NAS）能够自动化设计深度学习架构，并专门针对给定的目标硬件平台进行定制。然而，这些技术需要大量的计算资源，主要由于评估所发现架构性能的过程代价高昂。为了缓解这一问题，文献中最近的一个方向采用表征相似性度量来高效评估架构性能。尽管如此，由于它本质上是一种单目标方法，因此需要多次运行才能识别满足各种硬件成本约束的最优架构集合，从而增加了搜索成本。此外，简单地将单目标转换为多目标方法会导致架构搜索空间的探索不足。在本研究中，我们提出了一种多目标方法来解决 HW-NAS 问题，称为 MO-HDNAS，旨在以低计算成本在单次运行中识别架构的权衡集合。这通过优化三个目标来实现：最大化表征相似性度量、最小化硬件成本以及最大化硬件成本多样性。第三个目标，即硬件成本多样性，用于促进对架构搜索空间的更好探索。实验结果证明了我们提出的方法在六种边缘设备上有效解决图像分类任务的 HW-NAS 问题的有效性。
引用
@article{arxiv.2404.12403,
title = {Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity},
author = {Nilotpal Sinha and Peyman Rostami and Abd El Rahman Shabayek and Anis Kacem and Djamila Aouada},
journal= {arXiv preprint arXiv:2404.12403},
year = {2024}
}
备注
Accepted at the CVPR 2024 Workshop, called "Efficient Deep Learning for Computer Vision (ECV)"