视觉辅助对自动音频字幕生成的影响
音频与语音处理
2023-02-22 v2 声音
摘要
我们研究视觉辅助对自动音频字幕生成的影响。利用先前在声音事件检测中引入视觉相关信息的多编码器Transformer架构，我们分析融入多种预训练特征的有用性。我们在基于YouTube的视听数据集上进行实验，并考察所考虑的迁移学习技术在多种字幕评价指标方面的影响。我们发现，所考虑的预训练特征中只有一种带来一致的改进，而其他特征则完全未提供任何显著增益。有趣的是，先前研究工作的结果表明，在声音事件检测中情况恰好相反，这使我们得出结论：视觉嵌入的最优选择强烈依赖于手头任务。更具体地说，聚焦于语义的视觉特征在自动音频字幕生成背景下似乎是合适的，而对于声音事件检测，时间信息似乎更为重要。
引用
@article{arxiv.2211.10539,
title = {Impact of visual assistance for automated audio captioning},
author = {Wim Boes and Hugo Van hamme},
journal= {arXiv preprint arXiv:2211.10539},
year = {2023}
}