一种能够平衡沉浸模式与增强模式的可调双耳音频临场感系统
音频与语音处理
2024-05-15 v1 声音
摘要
双耳音频临场感旨在将远端的声学场景编码为双耳信号，供近端用户使用。BAT 涵盖了广泛的应用，这些应用可在沉浸式 BAT (I-BAT) 与增强式 BAT (E-BAT) 这两种极端模式之间变化。对于 I-BAT，我们的目标是保留完整的氛围，就好像我们身处远端一样；而对于 E-BAT，我们的目标是通过显著提升语音质量和可懂度来增强远端对话。为此，本文提出了一种可调的 BAT 系统，能够在这两种 AT 模式之间进行切换，以实现特定应用所需的平衡。麦克风信号被转换为具有指定氛围因子的双耳信号。本文提出了一种新颖的空间相干性表示作为模型训练的输入特征，使得网络对不同阵列设置保持鲁棒性。实验结果表明，即使阵列配置未包含在训练阶段，所提出的 BAT 系统仍展现出优越的性能。
引用
@article{arxiv.2405.08742,
title = {A tunable binaural audio telepresence system capable of balancing immersive and enhanced modes},
author = {Yicheng Hsu and Mingsian R. Bai},
journal= {arXiv preprint arXiv:2405.08742},
year = {2024}
}
备注
5 pages, 4 figures