面向社交媒体图像流行度预测的多模态深度学习框架
计算机视觉与模式识别
2021-05-20 v1 多媒体
摘要
每天有数十亿张照片通过各种类型的社交网络上传到网络。其中一些图像获得数百万次浏览并变得流行，而另一些则完全无人关注。这引发了社交媒体上图像流行度预测的问题。图像的流行度会受到若干因素影响，如视觉内容、美学质量、用户、发布元数据和时间。因此，考虑所有这些因素对于准确预测图像流行度至关重要。此外，预测模型的效率也起着关键作用。在本研究中，受利用来自多种模态信息的多模态学习以及卷积神经网络（CNNs）在各领域当前成功的启发，我们提出了一种称为视觉-社交卷积神经网络（VSCNN）的深度学习模型，该模型通过将各类视觉与社交特征整合进统一网络模型来预测已发布图像的流行度。VSCNN首先利用两个独立的CNN从输入的视觉和社交特征中学习提取高层表示，然后将这两个网络的输出融合进一个联合网络，以在输出层估计流行度分数。我们通过在Flickr上发布的约432K张图像的数据集上进行大量实验来评估所提方法的性能。仿真结果表明，所提出的VSCNN模型显著优于当前最优模型，在Spearman秩相关系数、平均绝对误差和均方误差上分别相对提升大于2.33%、7.59%和14.16%。
引用
@article{arxiv.2105.08809,
title = {Multimodal Deep Learning Framework for Image Popularity Prediction on Social Media},
author = {Fatma S. Abousaleh and Wen-Huang Cheng and Neng-Hao Yu and Yu Tsao},
journal= {arXiv preprint arXiv:2105.08809},
year = {2021}
}
备注
14 pages, 11 figures, 7 tables