无真值外语口音转换方法的评测
声音
2023-09-06 v1 计算与语言
音频与语音处理
摘要
外语口音转换（FAC）是语音转换（VC）的一种特殊应用，旨在将非母语说话人的带口音语音转换为具有相同说话人身份的自然发音语音。FAC 难以实现，因为无法收集到作为训练目标所需的该非母语说话人的母语语音。在本工作中，我们评测了三种近期提出的无真值 FAC 方法，它们都旨在利用序列到序列（seq2seq）和非并行 VC 模型的强大能力来恰当转换口音并控制说话人身份。我们的实验评测结果表明，没有任何单一方法在所有评测维度上显著优于其他方法，这与先前研究得出的结论相反。我们还通过 seq2seq 模型的训练输入输出解释了这些方法的有效性，并检查了非并行 VC 模型的设计选择，且表明词错误率等可懂度度量与主观口音程度相关性不佳。最后，我们的实现已开源以促进可复现研究，并帮助未来研究者在所比较的系统上进一步改进。
引用
@article{arxiv.2309.02133,
title = {Evaluating Methods for Ground-Truth-Free Foreign Accent Conversion},
author = {Wen-Chin Huang and Tomoki Toda},
journal= {arXiv preprint arXiv:2309.02133},
year = {2023}
}
备注
Accepted to the 2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). Demo page: https://unilight.github.io/Publication-Demos/publications/fac-evaluate. Code: https://github.com/unilight/seq2seq-vc