中文

透过树木看道路:利用航拍图像建模空间依赖关系的基准

计算机视觉与模式识别 2024-01-15 v1 机器学习

摘要

完全理解复杂的高分辨率卫星或航拍图像场景通常需要在广泛的相关上下文上进行空间推理。人类物体识别系统能够理解场景中物体在长程相关上下文中的关系。例如,如果一个人观察到一幅航拍场景,其中显示道路被树冠分割成段,那么他不太可能得出道路实际上已被树木分割成不相连片段的结论,而是会认为附近树木的树冠遮挡了道路。然而,目前针对现代机器学习模型长程上下文理解能力的研究有限。在这项工作中,我们提出了一个道路分割基准数据集——切萨皮克道路空间上下文(RSC),用于评估地理空间机器学习模型的空间长程上下文理解能力,并展示了常用的语义分割模型如何在此任务上失败。例如,我们表明,一个经过训练用于从航拍图像背景中分割道路的 U-Net,在未被遮挡的道路上实现了 84% 的召回率,但在被树冠覆盖的道路上召回率仅为 63.5%,尽管训练时对两者采用相同方式建模。我们进一步分析了模型性能如何随决策相关上下文(在我们的案例中为未被遮挡的道路)的距离变化而变化。我们发布了用于复现实验的代码以及图像和掩膜数据集,以鼓励该方向的未来研究——https://github.com/isaaccorley/ChesapeakeRSC。

关键词

引用

@article{arxiv.2401.06762,
  title  = {Seeing the roads through the trees: A benchmark for modeling spatial dependencies with aerial imagery},
  author = {Caleb Robinson and Isaac Corley and Anthony Ortiz and Rahul Dodhia and Juan M. Lavista Ferres and Peyman Najafirad},
  journal= {arXiv preprint arXiv:2401.06762},
  year   = {2024}
}

备注

In submission to IGARSS 2024