学习高效的基于卫星图像的无监督建筑损毁检测
计算机视觉与模式识别
2024-10-21 v1 多媒体
摘要
现有的建筑损毁检测（BDD）方法总是需要耗费大量人力的建筑及其状况的像素级标注，因此极大地限制了其应用。本文研究了BDD中一个具有挑战性但实用的场景，即无监督建筑损毁检测（U-BDD），该场景仅提供未标注的灾前和灾后卫星图像对。作为先导研究，我们首先提出了一个先进的U-BDD基线，利用预训练的视觉-语言基础模型（即Grounding DINO、SAM和CLIP）来解决U-BDD任务。然而，卫星图像与普通图像之间明显的领域差距导致用于识别建筑及其损毁的基础模型的置信度较低。为此，我们进一步提出了一种新颖的自监督框架U-BDD++，通过解决与卫星图像相关的特定领域问题对U-BDD基线进行了改进。此外，U-BDD++中新的建筑提案生成（BPG）模块和启用CLIP的噪声建筑提案选择（CLIP-BPS）模块确保了高质量的自训练。在广泛使用的建筑损毁评估基准上的大量实验证明了所提出方法在无监督建筑损毁检测中的有效性。所提出的免标注且基于基础模型的范式确保了高效的学习阶段。本研究为现实世界的BDD开辟了新方向，并为未来的研究设定了强有力的基线。
引用
@article{arxiv.2312.01576,
title = {Learning Efficient Unsupervised Satellite Image-based Building Damage Detection},
author = {Yiyun Zhang and Zijian Wang and Yadan Luo and Xin Yu and Zi Huang},
journal= {arXiv preprint arXiv:2312.01576},
year = {2024}
}
备注
ICDM 2023