面向零样态音频分类器的可监听地图
声音
2025-04-23 v2 机器学习
音频与语音处理
信号处理
摘要
解释深度学习模型的决策，包括音频分类器的决策，对于确保该技术的透明度和可信度至关重要。本文引入LMAC-ZS（面向零样态音频分类器的可监听地图），我们据此了解的是首个基于解码器的后置解释方法，用于解释零信态音频分类器的决策。该方法利用一种新型损失函数，以最大化与给定文本-音频对之间原始相似性的忠诚度。我们使用对比语言-音频预训练（CLAP）模型进行广泛评估，以展示我们的解释器在零信态分类情境中保持对决策的忠诚度。此外，我们定性地表明该方法产生的解释与不同文本提示之间存在良好的相关性。
引用
@article{arxiv.2405.17615,
title = {Listenable Maps for Zero-Shot Audio Classifiers},
author = {Francesco Paissan and Luca Della Libera and Mirco Ravanelli and Cem Subakan},
journal= {arXiv preprint arXiv:2405.17615},
year = {2025}
}
备注
Accepted to NeurIPS 2024