ClearBuds：用于基于学习的语音增强的无线双耳耳机
声音
2022-06-29 v1 音频与语音处理
摘要
我们提出 ClearBuds，这是首个利用神经网络增强来自两个无线耳机的语音流的硬件与软件系统。无线耳机的实时语音增强需要高质量的声音分离与背景消除，并在手机上实时运行。ClearBuds 通过将盲音频源分离的最先进深度学习与入耳式移动系统相结合，做出了两项关键技术贡献：1）一种可作为同步双耳麦克风阵列工作的新型无线耳机设计；2）一个在移动设备上运行的轻量级双通道语音增强神经网络。我们的神经网络具有一种新颖的级联架构，将时域卷积神经网络与基于频谱图的频域掩蔽神经网络相结合，以减少音频输出中的伪影。结果表明，我们的无线耳机同步误差小于 64 微秒，且我们的网络在配套手机上的运行时间为 21.4 毫秒。在先前未见的室内和室外多径场景中由八名用户进行的真实环境评估表明，我们的神经网络能够泛化学习空间与声学线索，以执行噪声抑制与背景语音去除。在一项由 37 名参与者组成、花费超过 15.4 小时对真实环境中收集的 1041 个音频样本进行评分的用户研究中，我们的系统在平均意见分数和背景噪声抑制方面均取得改善。含演示的项目页面：https://clearbuds.cs.washington.edu
引用
@article{arxiv.2206.13611,
title = {ClearBuds: Wireless Binaural Earbuds for Learning-Based Speech Enhancement},
author = {Ishan Chatterjee and Maruchi Kim and Vivek Jayaram and Shyamnath Gollakota and Ira Kemelmacher-Shlizerman and Shwetak Patel and Steven M. Seitz},
journal= {arXiv preprint arXiv:2206.13611},
year = {2022}
}
备注
12 pages, Published in Mobisys 2022