一种用于语音到语音比较的无文本度量
计算与语言
2023-07-21 v2 声音
音频与语音处理
摘要
本文提出一种不依赖文本转录来比较语音 utterance 的新的简单方法。我们的语音到语音比较度量利用最先进的 speech2unit 编码器（如 HuBERT）将语音 utterance 转换为离散声学单元。随后我们提出一种简单且易于复现的神经架构，学习一种与其基于文本的对应度量紧密对应的基于语音的度量。该无文本度量具有众多潜在应用，包括评估口语、无可靠 ASR 系统的语言的语音到语音翻译，或完全避免 ASR 转录需求。本文还表明，对于语音到语音翻译评估，ASR-BLEU（即自动转录语音假设与参考并计算机级 BLEU）即便是强 ASR 系统下也是真实文本 BLEU 的较差代理。
引用
@article{arxiv.2210.11835,
title = {A Textless Metric for Speech-to-Speech Comparison},
author = {Laurent Besacier and Swen Ribeiro and Olivier Galibert and Ioan Calapodescu},
journal= {arXiv preprint arXiv:2210.11835},
year = {2023}
}
备注
link to supplementary material: https://github.com/besacier/textless-metric