数据增强对音乐音频表征对比学习中局部嵌入特性的影响

音频嵌入是理解大规模音乐目录的关键工具。嵌入通常基于其在各种下游任务中提供的性能来评估，然而很少有研究探讨嵌入空间本身的局部特性，而这些特性对于常用于音乐搜索和推荐中的最近邻算法至关重要。本工作表明，在音乐数据集上通过对比学习学习音频表征时，通常在音轨内具有同质性的音乐属性（如调性和速度）会反映在所得嵌入空间的邻域局部性中。通过应用适当的数据增强策略，不仅可以减弱此类属性的局部化，还能增强其他属性的局部化。例如，对于非专业听众而言相关性较低的属性（如音高和速度）的局部性可以被削弱，同时增强更显著特征（如流派和情绪）的局部性，从而在最近邻检索准确率上达到当前最优性能。同样，我们表明，音乐音频嵌入对比学习中数据增强策略的最优选择取决于下游任务，这凸显了其作为嵌入设计中的一个重要决策。