面向骨传导麦克风的实时片上音频超分辨率实现
声音
2021-12-28 v1 多媒体
音频与语音处理
摘要
在噪声环境中使用空气传导麦克风进行语音通信会受到语音可懂度下降的困扰。骨传导麦克风(BCM)对环境噪声鲁棒，但由于其传感机制所限有效带宽有限。尽管现有音频超分辨率算法能恢复高频损失以实现高保真音频，但其所需计算资源远超低功耗可穿戴设备所能提供。本文提出首个面向BCM的实时片上语音音频超分辨率系统。为此，我们构建并比较了一系列轻量音频超分辨率深度学习模型。在所有模型中，ATS-UNet因所提出的新型音频时间移位模块(ATSM)在保持语音音频充足时间特征的同时降低了网络维度，故最具成本效益。随后我们将ATS-UNet量化并部署至低端ARM微控制器单元以实现实时嵌入式原型。评估结果显示，我们的系统在Cortex-M7上达到实时推理速度，且质量高于基线音频超分辨率方法。最后，我们开展了由十位专家与十位业余听者参与的用户研究，以评估本方法对人耳的有效性。与原始BCM或采用前沿降噪算法的空气传导麦克风方案相比，两组听者均感知到本方法显著更高的语音质量。
引用
@article{arxiv.2112.13156,
title = {Enabling Real-time On-chip Audio Super Resolution for Bone Conduction Microphones},
author = {Yuang Li and Yuntao Wang and Xin Liu and Yuanchun Shi and Shao-fu Shih},
journal= {arXiv preprint arXiv:2112.13156},
year = {2021}
}