最优传输映射是优秀的语音转换器
声音
2024-11-06 v1 机器学习
音频与语音处理
摘要
近年来，基于神经网络的最优传输映射计算方法已被有效应用于风格迁移问题。然而，这些方法在语音转换中的应用尚未得到充分探索。在本文中，我们通过研究最优传输作为语音转换的框架来填补这一空白。我们提出了多种针对不同数据表示（如梅尔频谱图和自监督语音模型的潜在表示）设计的最优传输算法。对于梅尔频谱图数据表示，我们在弗雷歇音频距离（FAD）方面取得了强劲的结果。这一表现与我们的理论分析一致，该分析表明我们的方法为目标分布和生成分布之间的FAD提供了一个上界。在WavLM编码器的潜在空间中，我们取得了最先进的结果，即使在有限的参考说话人数据下也超越了现有方法。
引用
@article{arxiv.2411.02402,
title = {Optimal Transport Maps are Good Voice Converters},
author = {Arip Asadulaev and Rostislav Korst and Vitalii Shutov and Alexander Korotin and Yaroslav Grebnyak and Vahe Egiazarian and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2411.02402},
year = {2024}
}