基于HRTF线索的双耳声事件定位与检测

本文提出了双耳声事件定位与检测（BiSELD）任务，旨在利用双耳音频同时检测和定位多个声事件，灵感来源于人类空间听觉机制。为支持该任务，我们提供了名为Binaural Set的合成基准数据集，模拟了使用测量得到的头部相关传递函数（HRTF）和多样声事件的真实听觉场景。为有效解决BiSELD任务，我们提出了一种新颖的输入特征表示方法，称为双耳时频特征（BTFF），该方法编码来自双耳信号的耳内时差（ITD）、耳内电平差（ILD）以及高频谱线索（SC）。BTFF由八个通道组成，包括左右mel频谱图、速度图、SC图以及ITD/ILD图，旨在覆盖不同频段和空间轴上的空间线索。随后，我们开发了基于CRNN的BiSELDnet模型，以从BTFF中学习时频图案和HRTF基础的定位线索。在Binaural Set上的实验表明，BTFF的每个子特征均提升了任务性能：V图改善了检测效果，ITD/ILD图实现了准确的水平定位，SC图捕捉了垂直空间线索。最终系统实现了0.110的SELD误差、87.1%的F值和4.4°的定位误差，证明了该框架在模拟人类类听觉感知方面的有效性。