面向高能效常开音频模型的神经架构搜索
音频与语音处理
2023-06-02 v2 机器学习
声音
摘要
用于常开分类任务的移动和边缘计算设备需要高能效的神经网络架构。本文提出了对神经架构搜索（NAS）的若干改进，以提高其在实际情况中成功的可能性。我们的搜索同时优化网络精度、能效和内存占用。我们在真实硬件上对所提搜索的性能进行基准测试，但由于使用真实硬件运行数千次测试十分困难，我们采用随机森林模型来粗略预测候选网络的能耗。我们提出了一种搜索策略，结合贝叶斯与正则化进化搜索及粒子群，并采用早停以降低计算负担。我们的搜索在基于AudioSet的声音事件分类数据集上进行评估，与基线MobileNetV1/V2实现相比，每次推理能耗降低一个数量级，内存占用大幅减小，同时任务精度略有提升。我们还展示了将二维频谱图与多滤波器卷积结合会给音频分类带来计算瓶颈，而替代方法可减轻计算负担但会牺牲任务精度。
引用
@article{arxiv.2202.05397,
title = {Neural Architecture Search for Energy Efficient Always-on Audio Models},
author = {Daniel T. Speckhard and Karolis Misiunas and Sagi Perel and Tenghui Zhu and Simon Carlile and Malcolm Slaney},
journal= {arXiv preprint arXiv:2202.05397},
year = {2023}
}