iQuery：将乐器作为查询的视听声音分离方法
计算机视觉与模式识别
2022-12-09 v2 多媒体
声音
音频与语音处理
摘要
当前的视听分离方法共享一种标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征相融合。这种设计将多模态特征编码的学习与用于音频分离的鲁棒声音解码混淆在一起。要泛化到一种新乐器，必须对全部乐器的整个视觉与音频网络进行微调。我们重新形式化了视觉-声音分离任务，并提出了具有灵活查询扩展机制的“乐器即查询”（iQuery）。我们的方法确保了跨模态一致性与跨乐器解耦。我们利用“视觉命名”的查询来启动音频查询的学习，并使用跨模态注意力在估计波形处消除潜在声源干扰。为泛化到新的乐器或事件类别，受文本提示（text-prompt）设计启发，我们在冻结注意力机制的同时插入一个额外的查询作为音频提示。在三个基准上的实验结果表明，我们的 iQuery 提升了视听声源分离性能。
引用
@article{arxiv.2212.03814,
title = {iQuery: Instruments as Queries for Audio-Visual Sound Separation},
author = {Jiaben Chen and Renrui Zhang and Dongze Lian and Jiaqi Yang and Ziyao Zeng and Jianbo Shi},
journal= {arXiv preprint arXiv:2212.03814},
year = {2022}
}