视频广告中的故事理解
计算机视觉与模式识别
2018-07-31 v1
摘要
为引起观众共鸣,许多视频广告运用创意叙事手法,如“弗赖塔格金字塔”:故事以铺陈开端,继以渐升情节,达至高潮,终于收束。尤其在广告的戏剧结构中,高潮依赖于情感的变化。我们致力于自动理解视频广告的动态结构。为此,我们首先在Video Ads Dataset的1,149个视频上众包高潮标注,该数据集已提供情感标注。随后我们采用无监督与有监督方法来预测高潮。基于预测的高峰、底层视觉与音频线索以及语义上有意义的上下文特征,我们构建了情感预测模型,其性能超越当前视频广告情感预测的SOTA模型25%。在消融研究中,我们表明使用上下文特征以及用LSTM建模动态均为性能提升的关键因素。
引用
@article{arxiv.1807.11122,
title = {Story Understanding in Video Advertisements},
author = {Keren Ye and Kyle Buettner and Adriana Kovashka},
journal= {arXiv preprint arXiv:1807.11122},
year = {2018}
}
备注
To appear, Proceedings of the British Machine Vision Conference (BMVC)