Colab NAS：遵循奥卡姆剃刀获取轻量级特定任务卷积神经网络
计算机视觉与模式识别
2023-11-09 v2
摘要
当前，将从大型数据集上训练的卷积神经网络（CNNs）进行迁移学习的趋势，在目标应用为自定义且边界明确、并有足够数据从头训练网络的问题时，可能是一种过度之举。另一方面，自定义且更轻量CNN的训练在从头训练情形下需要专业知识，而在硬件感知神经架构搜索（HW NAS）情形下需要高端资源，这限制了非惯常神经网络开发者对该技术的获取。为此，我们提出ColabNAS，一种可负担的HW NAS技术，用于生成轻量级特定任务CNN。其受奥卡姆剃刀启发的新颖无导数搜索策略，仅使用Google Colaboratory和Kaggle Kernel等免费在线GPU服务，在3.1 GPU小时内即可在标准TinyML基准Visual Wake Word数据集上取得最先进结果。
引用
@article{arxiv.2212.07700,
title = {Colab NAS: Obtaining lightweight task-specific convolutional neural networks following Occam's razor},
author = {Andrea Mattia Garavagno and Daniele Leonardis and Antonio Frisoli},
journal= {arXiv preprint arXiv:2212.07700},
year = {2023}
}