基于 HRTF 局定线索的人oid 机器人双耳声事件定位与检测神经网络
音频与语音处理
2025-08-07 v1 声音
摘要
人oid 机器人需要同时估计声事件类型和方向以实现情境感知，但conventional two-channel input 在高度估计和前后混淆方面存在困难。本文提出了一种双耳声事件定位和检测 (BiSELD) 神经网络以解决这些挑战。BiSELDnet 从双耳输入特征中学习时频模式和头部相关传递函数 (HRTF) 局定线索。引入一种新型八通道双耳时频特征 (BTFF)，包括左右 mel 频谱图、V 图、双耳时间差 (ITD) 图（低于 1.5 kHz）、双耳水平差 (ILD) 图（高于 5 kHz 且具有前后不对称性）以及频谱线索 (SC) 图（高于 5 kHz 用于高度估计）。在全向、水平和中间平面上确认了 BTFF 的有效性。实现了 BiSELDnet，尤其是基于高效 Trinity 模块的 BiSELDnet，用于输出每个声事件类别的时间序列方向向量，从而实现检测和定位的同时。提出了向量激活图 (VAM) 可视化方法，用于分析网络学习，确认 BiSELDnet 在用于高度估计时专注于 N1 峰频。 在城市背景噪声条件下的比较评估表明，所提出的 BiSELD 模型在双耳输入下显著优于当前最先进 (SOTA) SELD 模型。
引用
@article{arxiv.2508.04333,
title = {Binaural Sound Event Localization and Detection Neural Network based on HRTF Localization Cues for Humanoid Robots},
author = {Gyeong-Tae Lee},
journal= {arXiv preprint arXiv:2508.04333},
year = {2025}
}
备注
200 pages