用于跨设备约束搜索专用声学事件分类网络的权值共享超网络
声音
2023-03-21 v1 音频与语音处理
摘要
声学事件分类 (AEC) 已广泛应用于智能音箱和手机等设备中，用于家庭安全或无障碍辅助。随着 AEC 模型在具有多样化计算资源约束的越来越多设备上运行，为每种给定计算资源约束开发调优以实现最优准确率/计算量权衡的模型变得日益昂贵。本文引入一种用于 AEC 的 Once-For-All (OFA) 神经架构搜索 (NAS) 框架。具体而言，我们首先训练一个支持不同模型架构的权值共享超网络，然后在给定特定计算资源约束下自动搜索模型。实验结果表明，仅训练一次，NAS 所得的模型显著优于分别从零训练的模型和知识蒸馏模型（相对提升 25.4% 和 7.3%）。我们还发现，权值共享超网络训练对超小模型的益处不仅来自搜索，也来自优化。
引用
@article{arxiv.2303.10351,
title = {Weight-sharing Supernet for Searching Specialized Acoustic Event Classification Networks Across Device Constraints},
author = {Guan-Ting Lin and Qingming Tang and Chieh-Chi Kao and Viktor Rozgic and Chao Wang},
journal= {arXiv preprint arXiv:2303.10351},
year = {2023}
}
备注
Accepted by ICASSP 2023