基于双耳损失函数的 SpatialNet 以纠正头部旋转下的双耳信号匹配输出
音频与语音处理
2025-12-24 v1
摘要
随着虚拟现实耳机、智能隐形眼镜和头部跟踪耳机等设备的兴起，双耳再现正受到日益关注。实现这些系统的准确双耳信号具有挑战性，因为它们常采用任意的麦克风阵列且空间分辨率有限。 developed Binaural Signals Matching with Magnitude Least-Squares (BSM-MagLS) 方法以解决之前 BSM 公式的局限性，在高频率和头部旋转条件下改进了再现效果。然而，其准确度仍随头部旋转而恶化，导致在虚拟听众的耳部远离最近麦克风时出现空间和时体误差。本文提出将深度学习与 BSM-MagLS 集成以缓解这些退化。采用 SpatialNet 网络的后处理框架，利用其有效处理空间信息的能力，并受信号层级损失和源自人类双耳听觉理论模型的感知动机双耳损失指导。在六麦克风半圆形阵列的仿真研究中，验证了该方法在各种头部旋转下的鲁棒性。进一步的听力实验在不同的混响声学环境中进行，表明所提出的框架有效缓解了 BSM-MagLS 的退化，并在显著的头部旋转下提供稳健的校正。
关键词
引用
@article{arxiv.2512.20122,
title = {SpatialNet with Binaural Loss Function for Correcting Binaural Signal Matching Outputs under Head Rotations},
author = {Dor Shamay and Boaz Rafaely},
journal= {arXiv preprint arXiv:2512.20122},
year = {2025}
}