面向社交媒体网络中内容与用户理解的深度统一多模态嵌入
信息检索
2019-06-12 v3 计算与语言
计算机视觉与模式识别
社会与信息网络
摘要
过去几年中，社交媒体网络上产生的多模态内容呈爆发式增长，这使得对社交媒体内容与用户行为的深入理解成为必要。我们提出了一种新颖的与内容无关的内容-用户-反应模型，用于社交多媒体内容分析。与以往通常孤立地处理语义内容理解与用户行为建模的工作相比，我们在一个统一框架内针对这些问题给出了通用解决方案。我们利用一种新设计的用于处理远距离且异质模态的损失函数，将来自开放社交媒体的用户、图像与文本嵌入到一个公共多模态几何空间中，从而实现无缝的三方检索。我们的模型不仅在跨模态检索任务上优于基于单模态嵌入的方法，而且在Twitter数据上通过联合求解这两个任务也展现出性能提升。我们还表明，在联合多模态嵌入模型中学习到的用户嵌入相比在Instagram数据上用单模态内容学习到的嵌入更擅长预测用户兴趣。因此，我们的框架超越了以往利用显式关注者-被关注者链接信息来建立关联的作法，通过从孤立用户中提取隐式的以内容为中心的关联来实现。我们提供了定性结果以表明，从学习到的嵌入中涌现的用户簇具有一致的语义，且我们的模型具备从含噪非结构化数据中发掘细粒度语义的能力。我们的工作揭示，社交多模态内容本质上是多模态的并具备一致的结构，因为在社交网络中意义是通过用户与内容之间的交互创造的。
引用
@article{arxiv.1905.07075,
title = {Deep Unified Multimodal Embeddings for Understanding both Content and Users in Social Media Networks},
author = {Karan Sikka and Lucas Van Bramer and Ajay Divakaran},
journal= {arXiv preprint arXiv:1905.07075},
year = {2019}
}
备注
Preprint submitted to IJCV