颜色与纹理失真对深度学习地球观测数据的影响
计算机视觉与模式识别
2024-04-15 v2 机器学习
摘要
土地覆盖分类与变化检测是遥感与地球观测 (EO) 的两个重要应用，已从深度学习的进展中受益匪浅。基于卷积和 Transformer 的 U-net 模型是这些任务的最新架构，其性能因大规模标注 EO 数据集的可用性增加而得到提升。然而，输入 EO 数据的不同视觉特征对模型预测的影响尚未被充分理解。在本工作中，我们系统地考察了模型在推理过程中对输入 EO 数据上多种基于颜色和纹理的失真的敏感性，所用模型在训练时未包含此类失真。我们利用多种最先进的分割网络进行了土地覆盖分类实验，结果表明它们通常对纹理失真比颜色失真更为敏感。除了揭示广泛使用的土地覆盖分类模型的有趣特性外，我们的结果还可用于指导 EO 领域内更鲁棒模型的开发。
引用
@article{arxiv.2403.04385,
title = {Impacts of Color and Texture Distortions on Earth Observation Data in Deep Learning},
author = {Martin Willbo and Aleksis Pirinen and John Martinsson and Edvin Listo Zec and Olof Mogren and Mikael Nilsson},
journal= {arXiv preprint arXiv:2403.04385},
year = {2024}
}