FastSVC：基于特征线性调制的快速跨域歌声转换
音频与语音处理
2021-05-25 v2
摘要
本文提出 FastSVC，一种轻量级跨域歌声转换（SVC）系统，其可实现高转换性能，且在 CPU 上推理速度比实时快 4 倍。FastSVC 使用基于 Conformer 的音素识别器从歌唱信号中提取与歌手无关的语言特征。基于特征线性调制（feature-wise linear modulation）的生成器用于直接从语言特征合成波形，并利用来自正弦激励信号和响度特征的信息。该波形生成器可使用多分辨率谱损失和对抗损失方便地进行训练。实验结果表明，与计算量大的基线系统相比，所提出的 FastSVC 系统在某些场景下可达到相当的转换性能，在其他场景下则显著更优。此外，所提出的 FastSVC 系统实现了令人满意的跨语言歌声转换性能。FastSVC 系统在 GPU 和 CPU 上的推理速度分别比基线系统快 3 倍和 70 倍。
引用
@article{arxiv.2011.05731,
title = {FastSVC: Fast Cross-Domain Singing Voice Conversion with Feature-wise Linear Modulation},
author = {Songxiang Liu and Yuewen Cao and Na Hu and Dan Su and Helen Meng},
journal= {arXiv preprint arXiv:2011.05731},
year = {2021}
}
备注
Accepted by IEEE International Conference on Multimedia and Expo (ICME) 2021