基于激活函数神经架构搜索的 ActNAS：为 YOLO 模型生成高效模型
机器学习
2024-11-19 v2 神经与进化计算
摘要
激活函数为神经网络引入非线性，使其能够学习复杂模式。不同的激活函数在速度与精度之间存在差异，从更快但不够精确的 ReLU 到更慢但更精确的 SiLU 或 SELU。通常，整个模型架构中使用的激活函数是一致的。本文我们对在 YOLO 基于模型中使用混合激活函数的效果进行了全面研究，评估了其对 CPU、NPU 和 GPU 等边缘设备上延迟、内存使用和精度的影响。我们还提出了一种新方法，利用神经架构搜索 (NAS) 设计具有优化混合激活函数的 YOLO 模型。通过此方法生成的最佳模型相较于基线模型（SiLU）在平均精度 (mAP) 上略有提升，同时在参考 NPU 设备上速度提升 22.28%，内存消耗降低 64.15%。
关键词
引用
@article{arxiv.2410.10887,
title = {ActNAS : Generating Efficient YOLO Models using Activation NAS},
author = {Sudhakar Sah and Ravish Kumar and Darshan C. Ganji and Ehsan Saboori},
journal= {arXiv preprint arXiv:2410.10887},
year = {2024}
}
备注
7 pages, 4 figures, FITML workshop, NeuRIPS 2024