CL4AC：一种用于音频字幕的对比损失
音频与语音处理
2021-11-23 v3 人工智能
声音
摘要
自动音频字幕（AAC）是一项跨模态翻译任务，旨在使用自然语言描述音频片段的内容。正如DCASE 2021挑战赛任务6收到的提交所示，该问题在学界受到越来越多的关注。现有的AAC系统通常基于编码器-解码器架构，其中音频信号被编码为潜在表示，并与其对应的文本描述对齐，然后使用解码器生成字幕。然而，AAC系统的训练常遇到数据稀缺问题，可能导致表示不准确以及音频-文本对齐不佳。为解决该问题，我们提出了一种称为对比损失用于音频字幕（CL4AC）的新型编码器-解码器框架。在CL4AC中，从原始音频-文本配对数据导出的自监督信号通过对比样本来利用音频与文本之间的对应关系，从而在使用有限数据训练时改善潜在表示的质量以及音频与文本之间的对齐。在Clotho数据集上进行的实验表明了我们所提方法的有效性。
引用
@article{arxiv.2107.09990,
title = {CL4AC: A Contrastive Loss for Audio Captioning},
author = {Xubo Liu and Qiushi Huang and Xinhao Mei and Tom Ko and H Lilian Tang and Mark D. Plumbley and Wenwu Wang},
journal= {arXiv preprint arXiv:2107.09990},
year = {2021}
}
备注
The first two authors contributed equally, 5 pages, 3 figures, accepted by DCASE2021 Workshop