评估声学语音嵌入的可靠性
音频与语音处理
2020-11-09 v2 计算与语言
机器学习
声音
摘要
语音嵌入是变长语音序列的固定尺寸声学表示。它们正日益用于从信息检索到无监督词项发现与语音分割等多种任务。然而，目前尚无明确的方法以任务无关的方式比较或优化这些嵌入的质量。在此，我们在 5 种语言上系统比较了两种流行度量——ABX 辨别与平均精度均值（MAP）——涵盖 17 种嵌入方法，范围从监督到完全无监督，并使用不同损失函数（自编码器、对应自编码器、孪生网络）。随后我们利用 ABX 与 MAP 预测一项新下游任务的性能：给定语料中语音片段频率的无监督估计。我们发现总体上 ABX 与 MAP 彼此相关，且与频率估计相关。然而，在跨语言及/或嵌入方法的细粒度区分上出现了显著分歧。这使得目前提出一种计算语音嵌入内在质量的任务无关万能方法并不现实。有必要对当前用于评估此类嵌入的度量进行更细致的分析。
引用
@article{arxiv.2007.13542,
title = {Evaluating the reliability of acoustic speech embeddings},
author = {Robin Algayres and Mohamed Salah Zaiem and Benoit Sagot and Emmanuel Dupoux},
journal= {arXiv preprint arXiv:2007.13542},
year = {2020}
}
备注
Conference paper at Interspeech 2020