自动音频描述:近期进展与新挑战概述
音频与语音处理
2022-09-28 v2 人工智能
多媒体
声音
摘要
自动音频描述是一项跨模态翻译任务,旨在为给定音频片段生成自然语言描述。近年来随着免费可用数据集的发布,该任务受到越来越多的关注。该问题主要通过深度学习技术加以解决。已提出众多方法,例如研究不同的神经网络架构、利用关键词或句子信息等辅助信息引导描述生成,以及采用不同的训练策略,这些极大地推动了该领域的发展。本文中,我们全面综述了自动音频描述领域已发表的成果,涵盖各类现有方法、评估指标与数据集。我们还讨论了开放挑战并展望了可能的未来研究方向。
引用
@article{arxiv.2205.05949,
title = {Automated Audio Captioning: An Overview of Recent Progress and New Challenges},
author = {Xinhao Mei and Xubo Liu and Mark D. Plumbley and Wenwu Wang},
journal= {arXiv preprint arXiv:2205.05949},
year = {2022}
}
备注
Accepted by EURASIP Journal on Audio Speech and Music Processing