HyperFusion：面向社交媒体热度预测的层次化多模态集成学习
多媒体
2025-07-02 v1 机器学习
摘要
社交媒体热度预测在内容优化、营销策略和用户参与度提升方面发挥着关键作用。然而，由于视觉、文本、时间、用户行为因素之间复杂的相互作用，预测帖子热度仍然具有挑战性。本文提出了HyperFusion，一个面向社交媒体热度预测的层次化多模态集成学习框架。该方法采用三层融合架构，逐步整合不同抽象层次上的特征：来自CLIP编码器的视觉表征、来自变换模型的文本嵌入，以及时间-空间元数据和用户特征。该框架实现了结合CatBoost、TabNet和自定义多层感知机的层次化集成策略。为解决标签数据有限的问题，我们提出了两种阶段的训练方法，包括伪标签化和迭代细化。我们引入了新颖的跨模态相似性度量和层次化聚类特征，以捕捉跨模态依赖关系。实验结果表明，HyperFusion在SMP挑战数据集上实现了具竞争力的性能。我们的团队在SMP挑战2025年(图像轨道)中获得了第三名。源代码可在https://anonymous.4open.science/r/SMPDImage获取。
引用
@article{arxiv.2507.00926,
title = {HyperFusion: Hierarchical Multimodal Ensemble Learning for Social Media Popularity Prediction},
author = {Liliang Ye and Yunyao Zhang and Yafeng Wu and Yi-Ping Phoebe Chen and Junqing Yu and Wei Yang and Zikai Song},
journal= {arXiv preprint arXiv:2507.00926},
year = {2025}
}