GaLeNet：用于灾害预测、管理与救援的多模态学习
计算机视觉与模式识别
2022-06-22 v1 机器学习
摘要
在飓风等自然灾害发生后，数百万人需要紧急援助。为了优化资源分配，人类规划者需要准确分析可能来自多个来源的大量数据。这推动了能够集成多个数据源并高效利用它们的多模态机器学习框架的发展。迄今为止，研究界主要关注单模态推理以提供细粒度的损害评估。此外，以往研究大多依赖灾后图像，而这些图像可能需要数天才能获取。在这项工作中，我们提出了一个多模态框架（GaLeNet），通过将灾前图像与天气数据和飓风轨迹相结合来评估损害严重程度。通过对两次飓风数据的广泛实验，我们证明了（i）多模态方法相较于单模态方法的优点，以及（ii）GaLeNet在融合各种模态方面的有效性。此外，我们表明GaLeNet可以在缺乏灾后图像的情况下利用灾前图像，从而防止决策出现重大延迟。
引用
@article{arxiv.2206.09242,
title = {GaLeNet: Multimodal Learning for Disaster Prediction, Management and Relief},
author = {Rohit Saha and Mengyi Fang and Angeline Yasodhara and Kyryl Truskovskyi and Azin Asgarian and Daniel Homola and Raahil Shah and Frederik Dieleman and Jack Weatheritt and Thomas Rogers},
journal= {arXiv preprint arXiv:2206.09242},
year = {2022}
}
备注
Accepted to CVPR 2022 Workshop on Multimodal Learning for Earth and Environment