用于无监督单元发现与语音合成的 Transformer VQ-VAE：ZeroSpeech 2020 挑战赛
计算与语言
2020-05-26 v1 机器学习
声音
音频与语音处理
摘要
本文报告了我们为 ZeroSpeech 2020 挑战赛 Track 2019 提交的系统。该挑战赛的主题是在没有任何文本信息或语音标签的情况下构建语音合成器。为应对这些挑战，我们构建的系统必须解决两个主要组成部分：1) 给定语音音频，以无监督方式提取子词单元；2) 从新说话人重新合成音频。该系统还需在 ABX 错误率与比特率压缩率之间平衡码本性能。我们的主要贡献在于提出了基于 Transformer 的 VQ-VAE 用于无监督单元发现，以及基于 Transformer 的逆变器用于给定提取码本的语音合成。此外，我们还探索了多种正则化方法以进一步提升性能。
引用
@article{arxiv.2005.11676,
title = {Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge},
author = {Andros Tjandra and Sakriani Sakti and Satoshi Nakamura},
journal= {arXiv preprint arXiv:2005.11676},
year = {2020}
}
备注
Submitted to INTERSPEECH 2020