基于矢量量化扩散模型的语音带宽扩展
声音
2024-09-17 v2 音频与语音处理
摘要
神经音频编解码器(NAC)的最新进展为音频信号处理开启了新的潜力。研究越来越多地探索利用NAC的潜在特征进行各种语音信号处理任务。本文介绍了首个利用从NAC获得的离散特征进行语音带宽扩展(BWE)的方法。通过在高压缩的离散令牌中恢复高频细节，该方法增强了语音清晰度和自然度。所提出的框架基于矢量量化扩散，结合了先进NAC、扩散模型和Mamba-2的优势来重建高频语音成分。大量实验表明，该方法在对数谱距离和ViSQOL指标上均展现出优越性能，显著提升了语音质量。
引用
@article{arxiv.2409.05784,
title = {Vector Quantized Diffusion Model Based Speech Bandwidth Extension},
author = {Yuan Fang and Jinglin Bai and Jiajie Wang and Xueliang Zhang},
journal= {arXiv preprint arXiv:2409.05784},
year = {2024}
}
备注
4pages