邻近邻居是亲属吗?——深度音乐嵌入的测试

深度神经网络常被用于直接从原始输入数据学习对给定任务有用的表示。就总体性能指标而言,采用深度表示的机器学习方案常被报道大幅优于使用手工设计特征表示的方案。同时,它们可能捕捉到数据中占主导但并不真正有意义或可解释的方面。因此,在本文中我们提出了一种系统性的方法来测试深度音乐表示的可信度,考量音乐语义。其底层假设是,若深度表示可信,则已知相关点之间的距离一致性应在输入音频空间与相应潜在深度空间中均得以保持。我们通过语义上有意义的变换生成已知相关点,既考虑不可感知的变换,也考虑较剧烈的变换。然后,我们考察空间内与空间间的距离一致性,同时考虑音频空间与潜在嵌入空间,后者或是常规特征提取器或是深度编码器的产物。我们阐释了我们的方法如何作为任务特定性能的补充,提供关于网络可能从训练数据信号中捕获了什么的可解释洞察。