基于神经网络的 Ambisonic 信号双耳渲染
声音
2022-11-07 v1 人工智能
音频与语音处理
摘要
Ambisonic 信号的双耳渲染对虚拟现实与沉浸式媒体具有广泛意义。传统方法常需手动测量的头相关传输函数（HRTFs）。为解决此问题，我们收集了一个成对的 ambisonic-双耳数据集，并提出了一种端到端的深度学习框架。实验结果表明，神经网络在客观指标上优于传统方法，并在主观指标上取得可比表现。为验证所提框架，我们通过实验探究了输入特征、模型结构、输出特征与损失函数的不同设置。我们提出的系统取得了 7.32 的 SDR 以及质量、音色、定位与沉浸维度上分别为 3.83、3.58、3.87、3.58 的 MOS。
引用
@article{arxiv.2211.02301,
title = {Binaural Rendering of Ambisonic Signals by Neural Networks},
author = {Yin Zhu and Qiuqiang Kong and Junjie Shi and Shilei Liu and Xuzhou Ye and Ju-chiang Wang and Junping Zhang},
journal= {arXiv preprint arXiv:2211.02301},
year = {2022}
}