VI-PANN：利用迁移学习和不确定性感知变分推理提升音频模式识别的泛化能力
机器学习
2024-12-06 v2 声音
音频与语音处理
摘要
迁移学习（TL）是一种日益流行的训练深度学习（DL）模型的方法，它利用在多样化的大规模数据集上训练基础模型所获得的知识，用于下游任务，其中领域或任务特定数据较少。文献中充满了TL技术和应用；然而，大部分研究使用确定性DL模型，这些模型通常未校准，并且缺乏在预测中传达认知（模型）不确定性度量的能力。与确定性模型不同，贝叶斯深度学习（BDL）模型通常校准良好，能够提供预测的认知不确定性，并且能够实现有竞争力的预测性能。在本研究中，我们提出了变分推理预训练音频神经网络（VI-PANNs）。VI-PANNs是流行的ResNet-54架构的变分推理变体，在大型音频事件检测数据集AudioSet上预训练。我们使用ESC-50、UrbanSound8K和DCASE2013数据集评估了将知识从VI-PANNs迁移到其他下游声学分类任务时产生的不确定性的质量。我们首次证明，可以将校准后的不确定性信息与来自上游任务的知识一起迁移，以增强模型执行下游任务的能力。
引用
@article{arxiv.2401.05531,
title = {VI-PANN: Harnessing Transfer Learning and Uncertainty-Aware Variational Inference for Improved Generalization in Audio Pattern Recognition},
author = {John Fischer and Marko Orescanin and Eric Eckstrand},
journal= {arXiv preprint arXiv:2401.05531},
year = {2024}
}
备注
Published in IEEE Access