同音词揭示真相：对 Speech2Vec 的真实性检验

Guangyu Chen

同音词揭示真相：对 Speech2Vec 的真实性检验

计算与语言 2022-09-26 v2 声音音频与语音处理

作者: Guangyu Chen

摘要

生成具备语义信息的语音词嵌入是一个引人入胜的课题。与基于文本的嵌入相比，它们涵盖语音与语义双重特征，可提供更丰富信息，并有望有助于改进 ASR 与语音翻译系统。本文中，我们回顾并检验该领域一项开创性工作 Speech2Vec 的真实性。首先，提出一种基于同音词的检测方法，以检查 Speech2Vec 作者发布的语音嵌入。无任何迹象表明这些嵌入由 Speech2Vec 模型生成。此外，通过对词汇构成的进一步分析，我们怀疑这些嵌入由基于文本的模型伪造。最后，我们参考原论文中的官方代码与最优设置复现了 Speech2Vec 模型。实验表明，该模型未能学习到有效的语义嵌入。在词相似度基准中，其在 MEN 上获得 0.08、在 WS-353-SIM 测试中获得 0.15 的相关性分数，比原论文所述低逾 0.5。我们的数据与代码已公开。

关键词

语音嵌入 Speech2Vec 同音词检测语义信息 ASR 语音翻译词相似度

引用

@article{arxiv.2209.10791,
  title  = {Homophone Reveals the Truth: A Reality Check for Speech2Vec},
  author = {Guangyu Chen},
  journal= {arXiv preprint arXiv:2209.10791},
  year   = {2022}
}

备注

Corrected typos

同音词揭示真相：对 Speech2Vec 的真实性检验

摘要

关键词

引用

备注

相关论文