Fréchet 音频距离与环境音频人类感知的相关性依赖于嵌入
声音
2024-03-27 v1 音频与语音处理
摘要
本文探讨了考虑使用替代的领域特定嵌入来计算 Fréchet 音频距离（FAD）度量，是否有助于 FAD 与环境声音的感知评分更好地相关。我们使用了来自 VGGish、PANNs、MS-CLAP、L-CLAP 和 MERT 的嵌入，这些嵌入专为音乐或环境声音评估而定制。针对 DCASE 2023 Task 7 数据集中的声音计算了 FAD 分数。利用同一任务的感知数据，我们发现 PANNs-WGM-LogMel 在 FAD 分数与音频质量和感知契合度的感知评分之间产生了最佳相关性，Spearman 相关系数高于 0.5。我们还发现，特定于音乐的嵌入导致了显著较低的结果。有趣的是，用于原始 Fréchet 计算的嵌入 VGGish，产生的相关性低于 0.1。这些结果强调了嵌入选择对于 FAD 度量设计的关键重要性。
引用
@article{arxiv.2403.17508,
title = {Correlation of Fr\'echet Audio Distance With Human Perception of Environmental Audio Is Embedding Dependant},
author = {Modan Tailleur and Junwon Lee and Mathieu Lagrange and Keunwoo Choi and Laurie M. Heller and Keisuke Imoto and Yuki Okamoto},
journal= {arXiv preprint arXiv:2403.17508},
year = {2024}
}