基于情境与对话的深度网络多级刻画用于利用电影预告片的电影类型分类
计算与语言
2021-09-15 v1
摘要
自动化电影类型分类已成为一个活跃且重要的研究与探索领域。短时长电影预告片提供了关于电影的有用洞察，因为视频内容包含认知与情感层面的特征。以往方法侧重于认知或情感内容分析之一。本文中，我们提出一种新颖的多模态：情境、对话与元数据驱动的电影类型分类框架，同时考虑基于认知与情感的特征。一种基于预特征融合的框架考虑了：来自预告片常规快照的基于情境的特征（包含名词与动词，提供与相应类型的有用情感映射）、来自音频的基于对话（语音）的特征，以及元数据，它们共同提供用于基于认知与情感的视频分析的相关信息。我们还构建了英语电影预告片数据集（EMTD），包含属于动作、爱情、喜剧、恐怖和科幻五种流行类型的2000部好莱坞电影预告片，并在标准LMTD-9数据集上执行交叉验证以验证所提框架。结果表明，所提出的电影类型分类方法表现优异，F1分数、精确率、召回率及精确率-召回率曲线下面积均证实了这一点。
引用
@article{arxiv.2109.06488,
title = {Multilevel profiling of situation and dialogue-based deep networks for movie genre classification using movie trailers},
author = {Dinesh Kumar Vishwakarma and Mayank Jindal and Ayush Mittal and Aditya Sharma},
journal= {arXiv preprint arXiv:2109.06488},
year = {2021}
}
备注
21 pages, 7 figures