基于迁移学习探究局部与全局信息在自动音频描述中的作用
声音
2021-02-24 v1 音频与语音处理
摘要
自动音频描述(AAC)旨在为音频片段生成概括性描述。一条音频描述中涵盖了众多概念,从声音事件等局部信息到声学场景等全局信息不一而足。当前AAC的主流范式是端到端编码器-解码器架构,期望编码器自动学习音频中嵌入的各层次概念。本文首先提出一种音频描述主题模型,全面分析其中常被涵盖的层次化音频主题。随后我们探索了一种迁移学习方案以获取局部与全局信息。两个源任务被分别确定为代表局部与全局信息,即音频标注(AT)与声学场景分类(ASC)。实验在AAC基准数据集Clotho和Audiocaps上进行,采用主题迁移学习后八项指标均大幅提升。进一步发现,对AAC而言,局部信息与抽象表征学习比全局信息与时间关系学习更为关键。
引用
@article{arxiv.2102.11457,
title = {Investigating Local and Global Information for Automated Audio Captioning with Transfer Learning},
author = {Xuenan Xu and Heinrich Dinkel and Mengyue Wu and Zeyu Xie and Kai Yu},
journal= {arXiv preprint arXiv:2102.11457},
year = {2021}
}