面向佩戴式设备的低复杂度自语重建：基于入耳麦克风

佩戴式设备配备一个或多个麦克风，常用于语音通信。本文考虑佩戴式设备用于捕获用户在噪声环境中的自语场景。在此场景下，自语重建（OVR）对于增强录制的嘶杂自语信号的质量和可理解性至关重要。在以往工作中，我们开发了基于深度学习的 OVR 系统，旨在通过使用自语特性模型的数据增强，减少针对特定设备的训练所需的录音数量。鉴于佩戴式设备上可用计算资源有限，本文提出了一种基于 FT-JNF 架构的低复杂度 OVR 变体，并研究在有效数据增强和微调方面所需的特定设备录音数量。仿真结果表明，所提出的 OVR 系统即使在低复杂度和有限特定设备录音数量约束下，也显著提高了语音质量。