基于麦克风阵列与耳机的实时音视频增强
音频与语音处理
2023-03-03 v1
摘要
本文提出了一种用于噪声与混响条件下实时语音增强的完整硬件与软件流水线。该设备由安装在眼镜上的麦克风阵列和摄像头组成，连接至一个嵌入式系统，该系统对语音进行增强并通过耳机播放音频，最大延迟为 120 毫秒。所提方法依赖于人脸检测、跟踪与验证，利用波束成形器与后滤波神经网络来增强目标说话人的语音。结果证明了该方法的可行性，并为探索和验证用于实时语音增强的各类波束成形器与语音增强方法打开了大门。
引用
@article{arxiv.2303.00949,
title = {Real-time Audio Video Enhancement \\with a Microphone Array and Headphones},
author = {Jacob Kealey and Anthony Gosselin and Étienne Deshaies-Samson and Francis Cardinal and Félix Ducharme-Turcotte and Olivier Bergeron and Amélie Rioux-Joyal and Jérémy Bélec and François Grondin},
journal= {arXiv preprint arXiv:2303.00949},
year = {2023}
}
备注
Submitted to IROS 2023