基于窗口化交叉注意力的分布式异步设备语音增强

越来越多的配备麦克风的个人设备为在动态会议环境中将其用作临时麦克风阵列提供了广泛的灵活性和潜力。然而，大多数现有方法是为时间同步的麦克风设置设计的，而这种条件在实际会议场景中可能不成立，由于各设备的时间延迟和时钟漂移各不相同。在此条件下，我们发现 transform-average-concatenate（TAC）——一种流行的神经多麦克风处理模块——在处理时间异步麦克风方面不足。为此，我们提出一种窗口化交叉注意力模块，能够在所有麦克风之间动态对齐特征。该模块对置换和麦克风数量具有不变性，可轻松集成到现有模型中。此外，我们提出了一个针对多说话者环境的优化训练目标。我们在包含未知每个麦克风时间延迟和时钟漂移的多麦克风噪声声学环境中评估了该方法。实验结果表明，我们的方法在iFaSNet 和 CRUSE 模型上均优于 TAC，实现了更快的收敛和改进的学习，展示了窗口化交叉注意力模块处理异步麦克风设置的有效性。