主题引导的音视频对应学习
人工智能
2020-10-20 v2 多媒体
机器学习
摘要
以Snapchat和Youtube短视频为代表的用户生成短视频(UGV)应用近年来蓬勃发展，催生了大量多模态机器学习任务。其中，从视频中学习音频与视觉信息之间的对应关系是颇具挑战的一项。以往大多数音视频对应(AVC)学习工作仅针对受限视频或简单设定，可能不适用于UGV的应用场景。本文提出了AVC的新原则，并引入了一种新框架，通过关注视频主题来促进AVC学习。我们还发布了KWAI-AD-AudVis语料库，其中包含85432个用户制作的短广告视频(约913小时)。我们在该语料库上评估了所提方法，其绝对差异比基线高出23.15%。
引用
@article{arxiv.2009.06573,
title = {Themes Informed Audio-visual Correspondence Learning},
author = {Runze Su and Fei Tao and Xudong Liu and Haoran Wei and Xiaorong Mei and Zhiyao Duan and Lei Yuan and Ji Liu and Yuying Xie},
journal= {arXiv preprint arXiv:2009.06573},
year = {2020}
}
备注
Submitting to ICASSP 2021