多用途音频数据的可视化探索

我们使用可视化数据中相似性的工具来分析多用途音频，这些相似性可通过无监督方法观察到。机器学习分类器的成功受系统输入中包含的信息影响，因此我们研究数据中的潜在模式是否可解释此类分类器的性能局限。我们在知名数据集上使用视觉聚类倾向评估(VAT)技术来观察样本如何自然聚类，并与用于音频地理标记和声学场景分类的标签进行比较。我们证明VAT有助于解释并佐证先前工作中对该音频进行分类所观察到的混淆，从而对有监督分类系统的性能及局限性获得更深入认识。虽然此探索性分析是在我们已知“真实”标签的数据上进行的，但这种按数据自然分组进行可视化的方法引发了关于无标签数据的重要问题，有助于未来(包括自监督)分类系统的评估和现实预期。