揭示电影海报视觉特征在多标签类型识别中的作用

在电影行业中，电影海报数十年来一直是广告和营销的重要组成部分，即便如今以数字海报形式通过在线、社交媒体和 OTT（over-the-top，OTT）平台呈现，仍发挥着至关重要的作用。通常，电影海报能有效宣传并传达影片的精髓，例如其类型、视觉风格/基调、氛围以及故事情节线索/主题，这些对于吸引潜在观众至关重要。识别电影类型在将影片推荐给目标受众方面往往具有重要的实际应用。以往关于类型识别的研究主要集中于剧情简介、字幕、元数据、电影场景和预告片视频等来源；然而，海报早于这些来源出现，并提供上映前的隐含信息以引发大众兴趣。在本文中，我们仅从海报图像出发，不借助任何额外的电影文本/元数据/视频信息，致力于自动化的多标签电影类型识别，这是此类最早尝试之一。在此，我们提出一种带有概率模块的深层 transformer 网络，仅从海报识别电影类型。在实验中，我们从互联网电影数据库（Internet Movie Database，IMDb）获取了 13 种类型的 13882 张海报，我们模型的性能令人鼓舞，甚至优于一些主流的同期架构。