利用文本与视觉特征通过 Twitter 流进行洪水检测
计算机视觉与模式识别
2020-12-01 v1
摘要
本文介绍了我们针对 MediaEval 2020 洪水相关多媒体任务提出的解决方案，该任务旨在分析并检测 Twitter 上共享的多媒体内容中的洪水事件。我们总共提出了四种不同的解决方案，包括一个强制运行中融合文本与视觉信息的多模态方案，以及三个作为可选运行的单模态图像与基于文本的方案。在多模态方法中，我们依赖一个监督式多模态双Transformer模型，以早期融合方式结合文本与视觉特征，在开发数据集上取得 0.859 的微观 F1 分数。对于基于文本的洪水事件检测，我们使用一个 Transformer 网络（即预训练的意大利语 BERT 模型），取得 0.853 的 F1 分数。对于基于图像的方案，我们采用了多个在 ImageNet 和 places 数据集上分别预训练的深度模型，单独使用及以早期融合方式组合，在开发集上分别取得 0.816 和 0.805 的 F1 分数。
引用
@article{arxiv.2011.14944,
title = {Flood Detection via Twitter Streams using Textual and Visual Features},
author = {Firoj Alam and Zohaib Hassan and Kashif Ahmad and Asma Gul and Michael Reiglar and Nicola Conci and Ala AL-Fuqaha},
journal= {arXiv preprint arXiv:2011.14944},
year = {2020}
}
备注
3 pages