中文

自动音频描述:近期进展与新挑战概述

音频与语音处理 2022-09-28 v2 人工智能 多媒体 声音

摘要

自动音频描述是一项跨模态翻译任务,旨在为给定音频片段生成自然语言描述。近年来随着免费可用数据集的发布,该任务受到越来越多的关注。该问题主要通过深度学习技术加以解决。已提出众多方法,例如研究不同的神经网络架构、利用关键词或句子信息等辅助信息引导描述生成,以及采用不同的训练策略,这些极大地推动了该领域的发展。本文中,我们全面综述了自动音频描述领域已发表的成果,涵盖各类现有方法、评估指标与数据集。我们还讨论了开放挑战并展望了可能的未来研究方向。

关键词

引用

@article{arxiv.2205.05949,
  title  = {Automated Audio Captioning: An Overview of Recent Progress and New Challenges},
  author = {Xinhao Mei and Xubo Liu and Mark D. Plumbley and Wenwu Wang},
  journal= {arXiv preprint arXiv:2205.05949},
  year   = {2022}
}

备注

Accepted by EURASIP Journal on Audio Speech and Music Processing