用于路网图提取的 Segment Anything Model
计算机视觉与模式识别
2024-04-16 v3
摘要
我们提出了 SAM-Road，这是 Segment Anything Model (SAM) 的一种改编，用于从卫星图像中提取大规模的矢量化路网图。为了预测图几何，我们将其表述为密集语义分割任务，利用了 SAM 的固有优势。SAM 的图像编码器经过微调，可生成道路和交叉口的概率掩码，通过简单的非极大值抑制从中提取图顶点。为了预测图拓扑，我们设计了一个轻量级的基于 Transformer 的图神经网络，利用 SAM 图像嵌入来估计顶点之间的边存在概率。我们的方法直接预测大区域的图顶点和边，无需昂贵且复杂的后处理启发式方法，并能在几秒钟内构建跨越数平方公里的完整路网图。凭借其简单、直接和极简的设计，SAM-Road 在 City-scale 数据集上实现了与 SOTA 方法 RNGDet++ 相当的精度，同时速度快 40 倍。我们由此展示了基础视觉模型应用于图学习任务时的强大能力。代码可在 https://github.com/htcr/sam_road 获取。
引用
@article{arxiv.2403.16051,
title = {Segment Anything Model for Road Network Graph Extraction},
author = {Congrui Hetang and Haoru Xue and Cindy Le and Tianwei Yue and Wenping Wang and Yihui He},
journal= {arXiv preprint arXiv:2403.16051},
year = {2024}
}
备注
Accepted by IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR) 2024, 2nd Workshop on Scene Graphs and Graph Representation Learning