可配置EBEN:用于增强体传导语音采集的极带宽扩展网络
音频与语音处理
2024-07-18 v2 声音
摘要
本文提出可配置版极端带宽扩展网络(EBEN)——一种旨在改善体传导麦克风所采集音频的生成对抗网络(GAN)。我们表明,尽管这些麦克风显著降低了环境噪声,但这种对环境噪声的不敏感性是以牺牲设备佩戴者所获取语音信号的带宽为代价的。因此所获得的采集信号需要使用信号增强技术来恢复全带宽语音。EBEN利用对原始采集信号的可配置多带分解。该分解降低了数据时间域维度并更好地控制全带信号。采集信号的多带表示通过类U-Net模型处理,该模型结合特征损失与对抗损失以生成增强语音信号。我们还在所提出的可配置判别器架构中受益于这一原始表示。可配置EBEN方法能以轻量生成器在合成数据上取得最先进的增强结果,并支持实时处理。
引用
@article{arxiv.2303.10008,
title = {Configurable EBEN: Extreme Bandwidth Extension Network to enhance body-conducted speech capture},
author = {Julien Hauret and Thomas Joubaud and Véronique Zimpfer and Éric Bavu},
journal= {arXiv preprint arXiv:2303.10008},
year = {2024}
}
备注
Accepted in IEEE/ACM Transactions on Audio, Speech and Language Processing on 14/08/2023