利用 Segment Anything 模型从卫星影像识别难民营建筑以支持人道主义行动
计算机视觉与模式识别
2024-07-17 v1
摘要
从高分辨率卫星影像中获取更新的难民营建筑轮廓，可以支持相关的人道主义行动。本研究探索了利用“Segment Anything 模型”（SAM）及其分支 SAM-Adapter 进行卫星影像建筑提取的语义分割任务。SAM-Adapter 是 SAM 的一种轻量级适配，已成为跨不同难民营执行此提取任务的强大工具。我们的研究证明，与其他经典（如 U-Net）或先进的语义分割模型（如 Transformer）相比，SAM-Adapter 在数据可用性有限的情况下表现出色。此外，研究还强调了放大技术对模型性能的影响，其中超分辨率（SR）模型等方法被证明对于提升模型性能至关重要。此外，研究还揭示了一些有趣的现象，包括在使用放大后的图像数据进行训练时，模型在第一个训练周期内快速收敛，这为未来的研究提供了机会。涵盖从数据准备、模型训练、模型推理到为预测掩码生成 Shapefile 的每个步骤的代码已在一个 GitHub 仓库中公开，以造福更广泛的科学界和人道主义行动。
引用
@article{arxiv.2407.11381,
title = {Leveraging Segment Anything Model in Identifying Buildings within Refugee Camps (SAM4Refugee) from Satellite Imagery for Humanitarian Operations},
author = {Yunya Gao},
journal= {arXiv preprint arXiv:2407.11381},
year = {2024}
}