基于 Twitter 文本与图像的洪水检测
计算机视觉与模式识别
2020-12-01 v1
摘要
在本文中，我们介绍了针对 MediaEval 2020 洪水相关多媒体任务的方法，该任务旨在分析并融合来自社交媒体的文本与视觉内容以检测真实世界的洪水事件。任务主要关注识别与特定区域相关的洪水推文。我们提出了若干方案应对该挑战。对于基于文本的洪水事件检测，我们使用了三种不同方法，分别基于词袋（BOW）和意大利语版 Bert 单独及组合使用，在开发集上分别取得 0.77%、0.68% 和 0.70% 的 F1 分数。对于视觉分析，我们依赖通过多个在 ImageNet 上预训练的先进深度模型提取的特征。提取的特征随后用于训练多个独立分类器，其分数以晚期融合方式组合，取得 0.75% 的 F1 分数。在强制的多模态运行中，我们以晚期融合方式组合了最佳文本与视觉方案所得的分类分数。总体而言，多模态方案取得了更好的结果，在开发集上达到 0.80% 的 F1 分数。
引用
@article{arxiv.2011.14943,
title = {Floods Detection in Twitter Text and Images},
author = {Naina Said and Kashif Ahmad and Asma Gul and Nasir Ahmad and Ala Al-Fuqaha},
journal= {arXiv preprint arXiv:2011.14943},
year = {2020}
}
备注
3 pages