将极小值尖锐度讨论引入音频领域：面向声学场景分类的滤波器归一化评估
声音
2024-01-17 v2 机器学习
音频与语音处理
摘要
深度神经网络中损失极小值尖锐度与泛化能力之间的相关性已被长期讨论。尽管大多在计算机视觉领域的若干基准数据集背景下进行研究，我们针对 DCASE2020 挑战赛数据的声学场景分类任务探讨了这一方面。我们的分析基于二维滤波器归一化可视化以及一种导出的尖锐度度量。我们的探索性分析表明，较尖锐的极小值往往比较平坦的极小值表现出更好的泛化能力——对于来自此前未见过的设备录制的域外数据而言更是如此——从而进一步加剧关于平坦极小值具有更好泛化能力的争议。我们进一步发现，尤其是优化器的选择是极小值尖锐度的主要驱动因素，并讨论了由此产生的关于可比性的局限。我们的代码、训练好的模型状态以及损失景观可视化均已公开可用。
引用
@article{arxiv.2309.16369,
title = {Bringing the Discussion of Minima Sharpness to the Audio Domain: a Filter-Normalised Evaluation for Acoustic Scene Classification},
author = {Manuel Milling and Andreas Triantafyllopoulos and Iosif Tsangko and Simon David Noel Rampp and Björn Wolfgang Schuller},
journal= {arXiv preprint arXiv:2309.16369},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication