基于 Transformer 的稀疏测量空间插值生成模型 T-GMSI
计算机视觉与模式识别
2024-12-16 v1 图像与视频处理
摘要
从稀疏采样数据生成连续环境模型是空间建模中的关键挑战，尤其是在地形学。传统的空间插值方法在处理稀疏测量数据时常常力不从众。为此，我们提出一种基于 Transformer 的空间插值生成模型 (T-GMSI)，使用视觉 Transformer (ViT) 架构进行数字高程模型 (DEM) 的生成，以应对稀疏条件。T-GMSI 用 ViT 替代传统的卷积方法进行特征提取和 DEM 插值，同时引入地形特征感知损失函数以提高精度。T-GMSI 在拥有 70% 稀疏度的数据集上表现出色，并且在无需微调的情况下展现出强大的跨域迁移能力。其性能通过大量实验得到验证，优于传统方法如普通克里格 (OK) 和自然邻居 (NN) 以及基于条件生成对抗网络 (CGAN) 的模型 (CEDGAN)。与 OK 和 NN 相比，T-GMSI 在航空激光数据上的 RMSE 分别降低 40% 和 25%，在卫星激光数据上的 RMSE 分别降低 23% 和 10%。相对于 CEDGAN，T-GMSI 在提供的 DEM 数据上实现 20% 的 RMSE 降低，无需微调。该模型在大规模未见地形上的泛化能力凸显了其迁移能力和潜在应用范围。本研究将 T-GMSI 确立为稀疏数据集空间插值方面的最新解决方案，并突显了其对其他稀疏数据插值挑战的更广泛实用性。
引用
@article{arxiv.2412.09886,
title = {T-GMSI: A transformer-based generative model for spatial interpolation under sparse measurements},
author = {Xiangxi Tian and Jie Shan},
journal= {arXiv preprint arXiv:2412.09886},
year = {2024}
}