社交媒体中危机事件的多模态分类
机器学习
2020-04-13 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
图像分类与自然语言处理的最新进展，加上社交媒体使用的快速增长，使得全球实时检测突发事件取得了根本性进展。应急响应正是能从这些进展中受益的领域之一。通过每分钟处理数十亿文本与图像，可自动检测事件，使应急响应人员更好地评估快速演变的局势并相应调配资源。迄今为止，该领域多数事件检测技术聚焦于仅图像或仅文本方法，限制了检测性能并影响了传递给危机响应团队的信息质量。本文提出一种新的多模态融合方法，将图像与文本同时作为 inputs。具体而言，我们引入一个交叉注意力模块，可在逐样本基础上过滤弱模态中无信息及误导性成分。此外，我们采用基于多模态图的方法，在训练期间随机过渡不同多模态对的嵌入，以更好地正则化学习过程，并通过从不同样本构造新的匹配对来处理有限训练数据问题。我们在三项危机相关任务上表明，我们的方法大幅优于单模态方法及强多模态基线。
引用
@article{arxiv.2004.04917,
title = {Multimodal Categorization of Crisis Events in Social Media},
author = {Mahdi Abavisani and Liwei Wu and Shengli Hu and Joel Tetreault and Alejandro Jaimes},
journal= {arXiv preprint arXiv:2004.04917},
year = {2020}
}
备注
Conference on Computer Vision and Pattern Recognition (CVPR 2020)