面向多模态帖子流行度预测的情感与标签感知注意力深度神经网络
信息检索
2024-12-17 v1 社会与信息网络
摘要
社交媒体用户在广泛的主题上表述意见并通过包含多种表达方式的帖子分享他们的经历，导致此类多模态内容在社交媒体平台上显著增长。尽管如此，准确预测这些帖子的流行度仍是一个重大挑战。现有方法主要集中在内容本身，从而忽略了来自替代模态（如视觉人口统计学、通过标签传递的情感以及充分建模标签、文本和伴随图像之间的复杂关系）中封装的丰富信息。这一局限削弱了捕捉情感连接和观众相关性的能力，对帖子流行度产生显著影响。为此，本文提出了 seNtiment 和 hAshtag 感知注意力深度神经网络，用于多模态帖子流行度预测，称为 NARRATOR，通过从图像中出现的面部提取视觉人口统计学并辨识标签用法中的情感，提供对影响帖子流行度因素的更全面理解。此外，我们引入一种基于标签的注意力机制，利用标签作为导航线索，引导模型关注文本和视觉模态中最相关的特征，从而与目标观众兴趣和更广泛的社交媒体背景相吻合。实验结果表明，NARRATOR 在两个真实数据集上显著优于现有方法。此外，消融研究强调了整合视觉人口统计学、标签情感分析和基于标签的注意力机制在提升帖子流行度预测性能方面的有效性，从而促进了观众相关性、情感参与度和审美吸引力。
引用
@article{arxiv.2412.10737,
title = {Sentiment and Hashtag-aware Attentive Deep Neural Network for Multimodal Post Popularity Prediction},
author = {Shubhi Bansal and Mohit Kumar and Chandravardhan Singh Raghaw and Nagendra Kumar},
journal= {arXiv preprint arXiv:2412.10737},
year = {2024}
}