基于域适应与重采样 CycleGAN 的非平行高质量音频超分辨率
音频与语音处理
2023-02-28 v2 机器学习
声音
信号处理
摘要
神经音频超分辨率模型通常在低分辨率与高分辨率音频信号对上训练。尽管当输入数据的声学特性与训练数据相似时这些方法可实现高精度的超分辨率，但仍存在挑战：模型对域外数据会出现质量下降，且训练需要配对数据。为解决这些问题，我们提出 Dual-CycleGAN，一种基于两个相连的循环一致生成对抗网络（CycleGAN）可利用非配对数据的高质量音频超分辨率方法。我们的方法将超分辨率分解为域适应与重采样过程，以处理非配对低分辨率与高分辨率信号中的声学失配。随后这两个过程在 CycleGAN 框架内联合优化。实验结果验证，当配对数据不可用时，所提方法显著优于传统方法。代码与音频样本可从 https://chomeyama.github.io/DualCycleGAN-Demo/ 获取。
引用
@article{arxiv.2210.15887,
title = {Nonparallel High-Quality Audio Super Resolution with Domain Adaptation and Resampling CycleGANs},
author = {Reo Yoneyama and Ryuichi Yamamoto and Kentaro Tachibana},
journal= {arXiv preprint arXiv:2210.15887},
year = {2023}
}
备注
Acceptted to ICASSP 2023