Muskits：一个用于歌声合成端到端音乐处理的工具包
声音
2022-07-05 v2 多媒体
音频与语音处理
摘要
本文介绍一个名为Muskits的用于端到端音乐处理的开源新平台，其主要聚焦于端到端歌声合成（E2E-SVS）。Muskits支持最先进的SVS模型，包括RNN SVS、transformer SVS和XiaoiceSing。Muskits的设计遵循广泛使用的语音处理工具包ESPnet和Kaldi的风格，用于数据预处理、训练和配方流程。据我们所知，该工具包是首个允许在若干已发表SVS工作间进行公平且高度可复现比较的平台。此外，我们还基于工具包功能展示了若干高级用法，包括多语言训练和迁移学习。本文描述了Muskits的主要框架、其功能，以及在单歌手、多歌手、多语言和迁移学习场景中的实验结果。该工具包公开于https://github.com/SJTMusicTeam/Muskits。
引用
@article{arxiv.2205.04029,
title = {Muskits: an End-to-End Music Processing Toolkit for Singing Voice Synthesis},
author = {Jiatong Shi and Shuai Guo and Tao Qian and Nan Huo and Tomoki Hayashi and Yuning Wu and Frank Xu and Xuankai Chang and Huazhe Li and Peter Wu and Shinji Watanabe and Qin Jin},
journal= {arXiv preprint arXiv:2205.04029},
year = {2022}
}
备注
Accepted by Interspeech