一种预测社交媒体流行度的多模态方法
计算机视觉与模式识别
2018-07-17 v1
摘要
多种模态代表了数据源传达信息所借助的不同方面。当今的社交媒体平台是多模态数据的主要来源之一，用户通过发布文本以及图像和视频等多媒体内容以不同表达模式来分享信息。此类帖子中嵌入的多模态信息可能有助于预测其流行度。据我们所知，目前尚不存在用于预测社交媒体照片流行度的此类多模态数据集。在本工作中，我们提出了一个由内容、上下文和社交信息组成的多模态数据集用于流行度预测。具体而言，我们用图像内容、标题、描述和标签扩充了 ACM Multimedia grand challenge 2017 中用于社交媒体预测的 SMPT1 数据集。接下来，本文提出一种多模态方法，利用视觉特征（即内容信息）、文本特征（即上下文信息）和社交特征（例如平均浏览量和群组数量）以浏览量预测社交媒体照片的流行度。实验结果表明，尽管我们的多模态方法仅使用了 SMP-T1 中一半的训练数据集，其性能仍与最先进方法相当。
引用
@article{arxiv.1807.05959,
title = {A Multimodal Approach to Predict Social Media Popularity},
author = {Mayank Meghawat and Satyendra Yadav and Debanjan Mahata and Yifang Yin and Rajiv Ratn Shah and Roger Zimmermann},
journal= {arXiv preprint arXiv:1807.05959},
year = {2018}
}
备注
Preprint version for paper accepted in Proceedings of 1st IEEE International Conference on Multimedia Information Processing and Retrieval