HyT-NAS：面向边缘设备的混合Transformer神经架构搜索
计算机视觉与模式识别
2023-03-29 v2 机器学习
摘要
视觉Transformer使近期基于注意力的深度学习（DL）架构在计算机视觉（CV）任务中取得了显著成果。然而，由于所需计算资源庞大，这些架构很少在资源受限平台上实现。当前研究探索用于图像分类与目标检测等CV任务的混合手工卷积与注意力模型。本文提出HyT-NAS，一种高效的硬件感知神经架构搜索（HW-NAS），包含面向微型设备上视觉任务的混合架构。HyT-NAS通过丰富搜索空间、增强搜索策略及性能预测器，改进了最先进的HW-NAS。我们的实验表明，HyT-NAS以少于约5倍的训练评估次数取得了相似的超体积。我们所得到的架构在Visual Wake Words上以少3.5倍的参数数量相较MLPerf MobileNetV1实现了6.3%的准确率提升。
引用
@article{arxiv.2303.04440,
title = {HyT-NAS: Hybrid Transformers Neural Architecture Search for Edge Devices},
author = {Lotfi Abdelkrim Mecharbat and Hadjer Benmeziane and Hamza Ouarnoughi and Smail Niar},
journal= {arXiv preprint arXiv:2303.04440},
year = {2023}
}
备注
CODAI 2022 Workshop - Embedded System Week (ESWeek)