通过文本感知注意力池化与先验矩阵修正损失改进文本-音频检索
声音
2023-03-31 v4 音频与语音处理
摘要
在文本-音频检索（TAR）任务中，由于文本与音频内容之间的异质性，文本所包含的语义信息仅与音频中的某些帧相似。然而，现有工作在不考虑文本的情况下聚合整个音频，例如对帧进行均值池化，这很可能编码给定文本中未描述的误导性音频信息。本文提出一种用于TAR的文本感知注意力池化（TAP）模块，其本质是一种缩放点积注意力，使文本关注其语义最相似的帧。此外，先前的方法仅对每一单侧检索执行softmax，忽略了潜在的跨检索信息。通过探索每个文本-音频对的内在先验，我们引入先验矩阵修正（PMR）损失来过滤文本到音频相似度高（或低）但音频到文本相似度低（或高）的困难样本，从而实现双重最优匹配。实验表明，我们的TAP显著优于多种文本无关的池化函数。此外，我们的PMR损失在多个数据集上也展现出稳定的性能提升。
引用
@article{arxiv.2303.05681,
title = {Improving Text-Audio Retrieval by Text-aware Attention Pooling and Prior Matrix Revised Loss},
author = {Yifei Xin and Dongchao Yang and Yuexian Zou},
journal= {arXiv preprint arXiv:2303.05681},
year = {2023}
}