盲音频带宽扩展：一种基于扩散的零样本方法
音频与语音处理
2024-01-31 v2 机器学习
声音
摘要
音频带宽扩展涉及从带限观测中真实重建高频谱。在低通退化未知的情况下，例如修复历史音频录音，这成为一个盲问题。本文提出一种称为BABE（Blind Audio Bandwidth Extension，盲音频带宽扩展）的新方法，在零样本设定下利用预训练无条件扩散模型的生成先验解决该盲问题。在推理过程中，BABE使用广义的扩散后验采样，其中退化算子未知但被参数化并迭代推断。所提方法的性能通过客观与主观指标评估，结果表明BABE超越最先进的盲带宽扩展基线，并在合成数据测试时与已知方法（informed methods）取得有竞争力的性能。此外，BABE在增强真实历史录音时展现出鲁棒泛化能力，有效重建缺失高频内容并与原始录音保持连贯。主观偏好测试证实BABE显著改善历史音乐录音的音频质量。采用所提方法修复的历史录音示例见配套网页：(http://research.spa.aalto.fi/publications/papers/ieee-taslp-babe/)
引用
@article{arxiv.2306.01433,
title = {Blind Audio Bandwidth Extension: A Diffusion-Based Zero-Shot Approach},
author = {Eloi Moliner and Filip Elvander and Vesa Välimäki},
journal= {arXiv preprint arXiv:2306.01433},
year = {2024}
}
备注
Submitted to IEEE/ACM Transactions on Audio, Speech and Language Processing