换你歌声：一种用于歌曲转换的迁移学习生成对抗框架
机器学习
2020-02-03 v2 声音
音频与语音处理
机器学习
摘要
你是否想过，如果一首歌由另一位艺术家演唱会是什么样子？在本工作中，我们提出 SCM-GAN，一种由生成对抗与迁移学习驱动的端到端非平行歌曲转换系统，允许用户聆听选定目标歌手演唱任意歌曲。SCM-GAN 首先使用 U-Net 网络将歌曲分离为人声与伴奏音乐，随后利用先进的 CycleGAN-VC 将人声片段转换为目标歌手声线，再将转换后的人声与对应背景音乐合并。SCM-GAN 首先用最先进的声音到声音转换所学到的特征表示进行初始化，然后在非平行歌曲数据集上训练。此外，SCM-GAN 针对一组指标进行了评估，包括 24 个梅尔倒谱系数（MCEPs）上的全局方差 GV 与调制谱 MS。迁移学习使 GV 平均提升 35%，MS 平均提升 13%。我们进行了主观比较以测试用户对转换质量与自然度的满意度。结果表明，SCM-GAN 输出与目标的平均相似度在 70% 以上，且转换歌曲自然度极佳。
引用
@article{arxiv.1911.02933,
title = {Change your singer: a transfer learning generative adversarial framework for song to song conversion},
author = {Rema Daher and Mohammad Kassem Zein and Julia El Zini and Mariette Awad and Daniel Asmar},
journal= {arXiv preprint arXiv:1911.02933},
year = {2020}
}