利用文本到图像合成数据实现鲁棒的航空图像灾害评估
计算机视觉与模式识别
2024-05-24 v1 人工智能
机器学习
摘要
我们提出了一种简单高效的方法，利用新兴的文本到图像生成模型，为航空图像中的灾害评估任务创建大规模合成监督。尽管近期重大进展带来了使用航空或卫星图像进行灾害评估的改进技术，但在缺乏手动标注数据的领域，它们的鲁棒性仍然较差，直接影响这些资源匮乏地区灾后的人道主义援助。我们在这种情况下提高领域鲁棒性的贡献有两个方面。首先，我们利用生成模型的文本引导掩码图像编辑能力，构建了一个简单且易于扩展的流水线，从低资源领域生成数千张灾后图像。其次，我们提出了一种简单的两阶段训练方法，使用来自不同源领域的手动监督以及生成的合成目标领域数据来训练鲁棒模型。我们在xBD和SKAI图像的跨地理领域迁移设置下，在单源和多源设置中验证了我们提出的框架的强度，在每种情况下都显著优于仅使用源数据的基线。
引用
@article{arxiv.2405.13779,
title = {Robust Disaster Assessment from Aerial Imagery Using Text-to-Image Synthetic Data},
author = {Tarun Kalluri and Jihyeon Lee and Kihyuk Sohn and Sahil Singla and Manmohan Chandraker and Joseph Xu and Jeremiah Liu},
journal= {arXiv preprint arXiv:2405.13779},
year = {2024}
}