Harmonic-NAS：资源受限设备上面向硬件感知的多模态神经架构搜索
机器学习
2023-09-29 v2 计算机视觉与模式识别
摘要
近来围绕多模态神经网络（MM-NN）的兴趣激增，归因于其有效处理并融合来自多样数据源的多尺度信息的能力。MM-NN 使用适当的单模态骨干网络与特定的融合网络从多种模态中提取并融合特征。尽管这有助于增强多模态信息表示，设计此类网络却是劳动密集型的。它需要调优单模态骨干网络的架构参数、选择融合点以及选取融合操作。此外，多模态 AI 正作为物联网（IoT）系统中的前沿选项兴起，其中推理延迟与能耗除准确率外也是关键指标。本文中，我们提出 Harmonic-NAS，一种在资源受限设备上联合优化单模态骨干与多模态融合网络并具备硬件感知的框架。Harmonic-NAS 采用针对单模态骨干架构与融合策略及操作的双层优化方法。通过将硬件维度纳入优化，在多种设备与多模态数据集上的评估结果已证明 Harmonic-NAS 优于 SOTA 方法，实现了最高 10.9% 的准确率提升、1.91 倍延迟降低与 2.14 倍能效增益。
引用
@article{arxiv.2309.06612,
title = {Harmonic-NAS: Hardware-Aware Multimodal Neural Architecture Search on Resource-constrained Devices},
author = {Mohamed Imed Eddine Ghebriout and Halima Bouzidi and Smail Niar and Hamza Ouarnoughi},
journal= {arXiv preprint arXiv:2309.06612},
year = {2023}
}
备注
Accepted to the 15th Asian Conference on Machine Learning (ACML 2023)