基于手工音频特征的深度习得激活案例研究
声音
2019-07-04 v1 机器学习
音频与语音处理
摘要
卷积神经网络(CNN)的可解释性在所有应用领域中都是一项尤其具有挑战性的任务,且在音乐与音频领域明显研究不足。本文通过利用我们所掌握的手工音频特征知识来探讨可解释性。我们的研究聚焦于一个定义明确的MIR任务——从用户生成音乐录音中识别乐器。我们计算一组传统音频特征与CNN所学表征之间的相似度。我们还提出了一种测量激活图与通常以矩阵形式呈现的音频特征(如色度图或谱图)之间相似度的方法。我们观察到某些神经元的激活对应于著名的经典音频特征。特别地,对于浅层,我们发现激活与频谱的谐波和打击乐分量之间存在相似性。对于更深层,我们将色度图与高层激活图以及响度与起音率与深度习得嵌入进行比较。
引用
@article{arxiv.1907.01813,
title = {A Case Study of Deep-Learned Activations via Hand-Crafted Audio Features},
author = {Olga Slizovskaia and Emilia Gómez and Gloria Haro},
journal= {arXiv preprint arXiv:1907.01813},
year = {2019}
}
备注
The 2018 Joint Workshop on Machine Learning for Music, The Federated Artificial Intelligence Meeting (FAIM), Joint workshop program of ICML, IJCAI/ECAI, and AAMAS, Stockholm, Sweden, Saturday, July 14th, 2018