Takin：一批优质零样本语音生成模型
声音
2024-09-25 v3 人工智能
音频与语音处理
摘要
随着大数据和大语言模型时代的到来，零样本个性化快速定制已成为重要趋势。本报告介绍了 Takin AudioLLM，一系列技术和模型，主要包括 Takin TTS、Takin VC 和 Takin Morphing，专为有声书制作设计。这些模型能够进行零样本语音生成，生成的语音质量几乎与真实人类语音 indistinguishable，并允许用户根据自身需求自定义语音内容。具体而言，我们首先介绍 Takin TTS，这是一种基于增强型神经语音编解码器和多任务训练框架的神经编解码器语言模型，能够以零样本方式生成高保真自然语音。对于 Takin VC，我们提出了一种有效的内容与音色联合建模方法以提高说话人相似度，同时提出一种基于条件流匹配的解码器以进一步提升其自然度和表达性。最后，我们提出了 Takin Morphing 系统，采用高度解耦且先进的音色和韵律建模方法，使个体能够在精确可控的方式下自定义其偏好音色和韵律的语音生产。广泛实验验证了我们 Takin AudioLLM 系列模型的有效性和鲁健性。有关详细演示，请参阅 https://everest-ai.github.io/takinaudiollm/。
引用
@article{arxiv.2409.12139,
title = {Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models},
author = {Sijing Chen and Yuan Feng and Laipeng He and Tianwei He and Wendi He and Yanni Hu and Bin Lin and Yiting Lin and Yu Pan and Pengfei Tan and Chengwei Tian and Chen Wang and Zhicheng Wang and Ruoye Xie and Jixun Yao and Quanlei Yan and Yuguang Yang and Jianhao Ye and Jingjing Yin and Yanzhen Yu and Huimin Zhang and Xiang Zhang and Guangcheng Zhao and Hongbin Zhou and Pengpeng Zou},
journal= {arXiv preprint arXiv:2409.12139},
year = {2024}
}
备注
Technical Report; 18 pages; typos corrected, references added, demo url modified, author name modified;