基于注意力机制和一致性正则化的半监督学习基准测试：用于危机后建筑损伤评估的卫星图像
计算机视觉与模式识别
2024-12-16 v2
摘要
危机后建筑损伤评估对于快速响应和灾后重建规划至关重要。当前研究未能考虑到灾害评估（DA）与变化检测（CD）在神经网络设计上的不同要求。本文聚焦于两个关键差异：1) DA卫星图像中的建筑变化特征比CD中的更细微；2) DA数据集面临更严重的数据稀缺和标签不平衡问题。为此，在模型架构方面，研究探讨了注意力机制在危机后DA任务中的基准性能，并引入Simple Prior Attention UNet（SPAUNet）以增强模型识别细微变化的能力；在半监督学习（SSL）策略方面，本文构建了四种不同的图像级标签类别参考分布，以实现一致训练。xBD数据集上的实验结果表明，SPAUNet在监督学习实验中表现卓越，损失分类的召回率达79.10%，F1分数达71.32%，超越CD方法。结果表明DA任务导向的模型设计是必要的。SSL实验表明，图像级一致性正则化对模型具有积极影响。使用伪标签形式化参考分布进行一致性训练可获得最佳效果，证明了利用大量无标签数据类别分布进行SSL的潜力。这篇论文阐明了DA与CD任务之间的差异，初步探索了利用先验注意力机制和图像级一致性正则化进行模型设计策略，建立了危机后DA任务的新基准方法。
引用
@article{arxiv.2412.03015,
title = {Benchmarking Attention Mechanisms and Consistency Regularization Semi-Supervised Learning for Post-Flood Building Damage Assessment in Satellite Images},
author = {Jiaxi Yu and Tomohiro Fukuda and Nobuyoshi Yabuki},
journal= {arXiv preprint arXiv:2412.03015},
year = {2024}
}