基于教师集成的蒸馏：面向边缘设备的紧凑型鲁棒声学场景分类
声音
2025-12-17 v1
摘要
我们提出一种紧凑、量化就绪的声学场景分类(ASC)框架，采用高效学生网络与学习型教师集成及知识蒸馏相结合。学生主干网络采用堆叠深度可分离"扩-深度-投"块，并引入全局响应归一化，以稳定训练并提高对设备及噪声变异性的鲁棒性；同时采用全局池化头部输出类别logits，以实现边缘推理的高效性。为注入更丰富的归纳偏置，我们构建了多样化的教师模型集合，并学习两种互补的融合头：z1预测每个教师的混合权重（采用学生风格的主干网络），z2为轻量级MLP，执行逐类logit融合。通过温度缩放软目标结合硬标签，对学生进行教师集成蒸馏，使其能以单一紧凑模型近似教师集成的决策几何。我们在TAU Urban Acoustic Scenes 2022 Mobile基准测试中评估了该方法，在匹配边缘部署约束条件下实现了该数据集的SOTA结果，展示了强大的性能和实际应用价值。
引用
@article{arxiv.2512.13905,
title = {Ensemble-Guided Distillation for Compact and Robust Acoustic Scene Classification on Edge Devices},
author = {Hossein Sharify and Behnam Raoufi and Mahdy Ramezani and Khosrow Hajsadeghi and Saeed Bagheri Shouraki},
journal= {arXiv preprint arXiv:2512.13905},
year = {2025}
}