用于历史地图语义分割的交叉注意力时空上下文Transformer
计算机视觉与模式识别
2023-10-20 v1 人工智能
摘要
历史地图在现代地球观测技术出现之前提供了有用的地表时空信息。为从地图中提取信息，近年来广受欢迎的神经网络已取代手工地图处理方法和繁琐的人工劳动。然而，源于原始图幅绘制/扫描/褪色缺陷的偶然不确定性（即数据依赖的不确定性），以及因训练过程内存限制将地图裁切成小图块时上下文不足，对模型做出正确预测构成挑战。由于即便收集更多训练数据也无法降低偶然不确定性，我们认为互补的时空上下文会有所帮助。为此，我们提出一种基于 U-Net 的网络，利用交叉注意力 transformer（U-SpaTem）融合时空特征，在更大空间范围及通过图像时间序列聚合信息。我们的模型优于其他仅使用时序或空间上下文的 SOTA 模型。与纯视觉 transformer 相比，我们的模型更轻量且有效。据我们所知，在分割任务中同时利用空间与时间上下文此前鲜有探索。尽管我们的应用在于历史地图分割，我们相信该方法可迁移至具有类似问题的其他领域，如卫星图像时间序列。我们的代码可在 https://github.com/chenyizi086/wu.2023.sigspatial.git 免费获取。
引用
@article{arxiv.2310.12616,
title = {Cross-attention Spatio-temporal Context Transformer for Semantic Segmentation of Historical Maps},
author = {Sidi Wu and Yizi Chen and Konrad Schindler and Lorenz Hurni},
journal= {arXiv preprint arXiv:2310.12616},
year = {2023}
}