VoiceRestore：用于语音录音质量恢复的流匹配变换器
音频与语音处理
2025-01-03 v1 声音
摘要
我们提出 VoiceRestore，这是一种新颖的方法，用于使用在合成数据上以自监督方式训练的流匹配变换器来恢复语音录音的质量。该方法针对短时和长时语音录音中常见的各种退化现象，包括背景噪声、混响、压缩伪影和带宽限制，全部在一个统一的模型中进行处理。利用条件流匹配和分类器自由指导，该模型能够在不要求配对的干净语音和退化语音数据集的情况下，将退化语音映射到高质量录音。我们描述了训练过程、条件流匹配框架以及模型的体系结构。我们还展示了模型在实际语音恢复任务中的泛化能力，包括短语和长篇独白或对话。定性和定量评估表明，我们的方法提供了一种灵活且有效的解决方案，用于提升各种长度和退化类型的语音录音质量。
引用
@article{arxiv.2501.00794,
title = {VoiceRestore: Flow-Matching Transformers for Speech Recording Quality Restoration},
author = {Stanislav Kirdey},
journal= {arXiv preprint arXiv:2501.00794},
year = {2025}
}