MARS6：一个小型鲁棒的分层编解码器文本转语音模型
音频与语音处理
2025-01-13 v1 计算与语言
摘要
基于编解码器的文本转语音（TTS）模型在零样本语音克隆能力方面展现了令人印象深刻的音质。然而，它们通常难以处理更具表现力的参考音频或复杂的文本输入。我们提出了MARS6，一个用于快速、富有表现力的TTS的鲁棒编码器-解码器Transformer。MARS6建立在口语建模的最新改进之上。利用其解码器的分层设置，新的语音令牌仅以12 Hz的速率处理，从而在保持重建质量的同时实现对长文本的高效建模。我们结合了几种最新的训练和推理技术，以减少重复生成并提高输出稳定性和质量。这使得拥有7000万参数的MARS6能够达到比其大数倍的模型相似的性能。我们在客观和主观评估中展示了这一点，比较了TTS输出质量和参考说话人克隆能力。项目页面：https://camb-ai.github.io/mars6-turbo/
引用
@article{arxiv.2501.05787,
title = {MARS6: A Small and Robust Hierarchical-Codec Text-to-Speech Model},
author = {Matthew Baas and Pieter Scholtz and Arnav Mehta and Elliott Dyson and Akshat Prakash and Herman Kamper},
journal= {arXiv preprint arXiv:2501.05787},
year = {2025}
}
备注
5 pages, 2 figures, 1 table. Accepted at ICASSP 2025