一种用于多标签电影类型分类的多模态方法
机器学习
2020-06-02 v1 计算机视觉与模式识别
机器学习
摘要
电影类型分类是一项具有挑战性的任务,日益吸引研究人员的关注。在本文中,我们以多模态方式处理了电影类型的多标签分类。为此,我们创建了一个数据集,由取自 The Movie Database 的 152,622 部电影标题的预告片视频片段、字幕、剧情简介和电影海报组成。该数据集经过仔细整理与组织,并作为本工作的贡献一并公开。数据集中每部电影均依据一组十八个类型标签进行标注。我们使用不同类型的描述符从这些数据中提取特征,即梅尔频率倒谱系数、统计频谱描述符、结合频谱图的局部二值模式、长短期记忆网络以及卷积神经网络。这些描述符使用不同分类器(如 BinaryRelevance 和 ML-kNN)进行评估。我们还借助晚期融合策略研究了不同分类器/特征组合的性能,获得了令人鼓舞的结果。基于 F-Score 指标,我们的最佳结果 0.628 由对剧情简介使用 LSTM 构建的分类器与对电影预告帧使用 CNN 构建的分类器融合而得。当考虑 AUC-PR 指标时,最佳结果 0.673 同样通过组合这些表征实现,此外还使用了基于字幕创建的 LSTM 分类器。这些结果证实了在该应用领域基于不同信息源的分类器之间存在互补性。据我们所知,这是就多媒体信息源多样性而言所开展的关于电影类型分类最为全面的研究。
引用
@article{arxiv.2006.00654,
title = {A multimodal approach for multi-label movie genre classification},
author = {Rafael B. Mangolin and Rodolfo M. Pereira and Alceu S. Britto and Carlos N. Silla and Valéria D. Feltrim and Diego Bertolini and Yandre M. G. Costa},
journal= {arXiv preprint arXiv:2006.00654},
year = {2020}
}
备注
21 pages and 4 figures