空间语音翻译：利用双耳可穿戴设备跨空间翻译

想象在人声嘈杂的空间中，人们说着不同语言，而你佩戴的可穿戴设备将听觉空间转化为母语，同时保留所有说话人的空间线索。在此，我们引入空间语音翻译，这是一种 novel 概念，用于可穿戴设备，将环境中说话的人翻译成语音，同时在双耳输出中保持每个说话人的方向和独特语音特征。为此，我们解决了一系列技术挑战，包括盲源分离、定位、实时表达翻译以及双耳渲染，以在保持说话人方向的同时实现翻译语音的实时推理，同时在Apple M2硅芯片上实现实时推理。我们的原型双耳头盔评估显示，与现有模型不同，面对来自其他说话人的强干扰，我们可实现最高达22.01的BLEU分数进行语言翻译。用户研究进一步确认，该系统在先前未遇到的真实世界混响环境中有效地对翻译语音进行空间渲染。就其本身而言，这项工作标志着将空间感知引入语音翻译的第一步。