探索纯注意力机制在盲式房间参数估计中的能力
音频与语音处理
2024-04-26 v2
摘要
声学环境的动态参数化在音频处理领域引起了广泛关注。在设计用于各种音频渲染应用的音频滤波器时,精确表征局部房间声学特性至关重要。在此背景下的关键参数包括混响时间(RT60)和几何房间体积。近年来,神经网络已广泛应用于盲式房间参数估计任务。然而,纯注意力机制是否能在该任务中实现更优性能仍存疑问。为解决这一问题,本研究基于单声道含噪语音信号进行盲式房间参数估计。我们研究了多种模型架构,包括一种提出的基于注意力的模型。该模型是一个无卷积的音频频谱图 Transformer(Audio Spectrogram Transformer),利用图块分割、注意力机制以及从预训练视觉 Transformer(Vision Transformer)迁移的跨模态学习。实验结果表明,所提出的基于注意力机制的模型完全依赖注意力机制而不使用卷积,在各种房间参数估计任务中表现出显著 improved 的性能,特别是在专用预训练和数据增强方案的帮助下。此外,与现有方法相比,该模型在处理可变长度音频输入时展现出更有利的适应性和鲁棒性。
引用
@article{arxiv.2402.16003,
title = {Exploring the Power of Pure Attention Mechanisms in Blind Room Parameter Estimation},
author = {Chunxi Wang and Maoshen Jia and Meiran Li and Changchun Bao and Wenyu Jin},
journal= {arXiv preprint arXiv:2402.16003},
year = {2024}
}
备注
28 pages, 9 figures, accepted for publishing to EURASIP Journal On Audio Speech And Music Processing