基于文本到音频定位的音频字幕相似度评估新指标
计算与语言
2022-10-13 v1 人工智能
声音
音频与语音处理
摘要
自动音频字幕生成(AAC)指将音频样本翻译为描述音频事件、事件来源及其关系的自然语言(NL)文本的任务。与依赖基于词汇语义的BLEU、ROUGE、METEOR等指标评估的NL文本生成任务不同,AAC评估指标除词汇语义外还需具备将对应于相似声音的NL文本(短语)进行映射的能力。当前用于AAC任务评估的指标缺乏对文本所表征声音感知特性的理解。在本文中,我们提出一种基于文本到音频定位(TAG)的新指标,其可用于评估如AAC之类的跨模态任务。在公开可用AAC数据集上的实验表明,我们的评估指标相较于NL文本和图像字幕文献中使用的现有指标表现更优。
引用
@article{arxiv.2210.06354,
title = {Text-to-Audio Grounding Based Novel Metric for Evaluating Audio Caption Similarity},
author = {Swapnil Bhosale and Rupayan Chakraborty and Sunil Kumar Kopparapu},
journal= {arXiv preprint arXiv:2210.06354},
year = {2022}
}
备注
9 pages, 8 figures,