基于变分自编码器解耦歌手与发声技巧表示的歌声转换
音频与语音处理
2020-02-26 v3 机器学习
声音
机器学习
摘要
我们提出了一种灵活框架，可同时处理歌手转换与歌手发声技巧转换。所提模型在非平行语料上训练，支持多对多转换，并利用变分自编码器的最新进展。它采用独立编码器分别学习歌手身份与发声技巧的解耦潜在表示，并使用联合解码器进行重构。转换通过在所学潜在空间中的简单向量运算完成。定量分析及转换后语谱图的可视化均表明，我们的模型能够解耦歌手身份与发声技巧，并成功实现这些属性的转换。据我们所知，这是首个基于深度学习方法联合解决歌手身份与发声技巧转换的工作。
引用
@article{arxiv.1912.02613,
title = {Singing Voice Conversion with Disentangled Representations of Singer and Vocal Technique Using Variational Autoencoders},
author = {Yin-Jyun Luo and Chin-Chen Hsu and Kat Agres and Dorien Herremans},
journal= {arXiv preprint arXiv:1912.02613},
year = {2020}
}
备注
Accepted to ICASSP 2020