评估分布外泛化能力以实现鲁棒的建筑损毁检测
计算机视觉与模式识别
2020-11-23 v1 机器学习
摘要
限制自然灾害负面影响的一个重要步骤是在灾害发生后进行快速损失评估。例如，可以通过将计算机视觉技术应用于卫星图像来实现建筑损毁检测的自动化。此类模型在多域环境下运行：每一次灾害本质上都不同（新的地理位置、独特的环境），且模型必须对可用于训练的灾害图像与新事件图像之间的分布偏移具有鲁棒性。因此，估计真实世界性能需要一个分布外（OOD）测试集。然而，迄今为止建筑损毁检测模型大多在更简单却不切实际的同分布（IID）测试设定下进行评估。本文认为未来的工作应转而关注 OOD 设定。我们评估了两种具有竞争力的损毁检测模型的 OOD 性能，发现现有的最先进（SOTA）模型表现出显著的泛化差距：当在新的、训练时未使用的灾害上进行 OOD 评估时，其性能下降。此外，IID 性能无法预测 OOD 性能，使得当前基准无法提供关于真实世界性能的信息。代码与模型权重可在 https://github.com/ecker-lab/robust-bdd 获取。
引用
@article{arxiv.2011.10328,
title = {Assessing out-of-domain generalization for robust building damage detection},
author = {Vitus Benson and Alexander Ecker},
journal= {arXiv preprint arXiv:2011.10328},
year = {2020}
}
备注
Published at NeurIPS 2020 Workshop on Artificial Intelligence for Humanitarian Assistance and Disaster Response (AI+HADR 2020)