从双耳录音中同时学习说话人方向与头部朝向
音频与语音处理
2023-09-27 v1 声音
信号处理
摘要
利用双耳录音估计说话人方向与头部朝向，在众多配备新兴“可穿戴耳设备”的真实应用中可能是关键信息，包括智能耳机与 AR/VR 头显。然而，这需要预测说话人与听者双方的相互头部朝向，在实践中颇具挑战。本文提出一种通过利用固有的人声指向性以及听者由耳戴麦克风感知的头部相关传输函数（HRTF）来联合预测说话人-听者头部朝向的系统。我们提出一种卷积神经网络模型，该模型在给定双耳语音录音时，可预测说话人与听者相对于两者连线的朝向。该系统基于核心观察：左耳与右耳的录音受人声指向性及 HRTF 的差异性影响。我们还纳入了人声在较高频率比较低频率更具指向性这一事实。
引用
@article{arxiv.2309.15064,
title = {Simultaneously Learning Speaker's Direction and Head Orientation from Binaural Recordings},
author = {Harshvardhan Takawale and Nirupam Roy},
journal= {arXiv preprint arXiv:2309.15064},
year = {2023}
}