RevRIR：使用对比学习联合嵌入混响语音和房间脉冲响应及其在房间形状分类中的应用
音频与语音处理
2024-06-06 v1 机器学习
声音
摘要
本文聚焦于房间指纹识别，这是一项涉及分析音频录音以确定录制该录音的房间的具体体积和形状的任务。虽然从房间脉冲响应（RIR）中确定基本房间参数相对简单，但从语音信号中完成这一任务却很繁琐。为了应对这一挑战，我们引入了一种双编码器架构，便于直接从语音话语中估计房间参数。在预训练期间，一个编码器接收RIR，而另一个处理混响语音信号。采用对比损失函数将语音和声学响应联合嵌入。在微调阶段，训练特定的分类任务。在测试阶段，只有混响话语可用，其嵌入用于房间形状分类任务。所提出的方案使用模拟声学环境进行了广泛评估。
引用
@article{arxiv.2406.03120,
title = {RevRIR: Joint Reverberant Speech and Room Impulse Response Embedding using Contrastive Learning with Application to Room Shape Classification},
author = {Jacob Bitterman and Daniel Levi and Hilel Hagai Diamandi and Sharon Gannot and Tal Rosenwein},
journal= {arXiv preprint arXiv:2406.03120},
year = {2024}
}
备注
Accepted to Interspeech 2024