基于多模态深度学习的社交媒体数据分析用于灾害响应

社交媒体平台中的多媒体内容在灾害事件期间提供重要信息。共享的信息类型包括受伤或死亡人员报告、基础设施损坏、失踪或寻获人员等。尽管许多研究已表明文本和图像内容对灾害响应均有用，但过去的研究主要集中于仅分析文本模态。本文中，我们提出利用社交媒体数据的文本和图像两种模态，使用最先进的深度学习技术学习联合表示。具体而言，我们利用卷积神经网络定义一种具有模态无关共享表示的多模态深度学习架构。在真实世界灾害数据集上的大量实验表明，所提出的多模态架构比使用单一模态（例如仅文本或仅图像）训练的模型性能更优。