利用视觉Transformer缓解空间非平稳性
机器学习
2023-08-09 v1
摘要
空间非平稳性，即特征统计分布随位置的变化，在许多自然环境中普遍存在。例如，在地质储层中，由于地力学压实趋势，岩石基质孔隙度随深度变化；在矿床中，由于沉积和富集过程，品位发生变化；在水文学中，由于大气与地形相互作用，降雨发生变化；在冶金学中，由于差异冷却，晶体结构发生变化。传统的地质统计建模流程依赖于平稳性假设，以便对空间特征进行地质统计推断建模。然而，在处理非平稳空间数据时，这往往不是一个现实的假设，这也促使了多种非平稳空间建模流程的出现，如趋势与残差分解、含次级特征的协同模拟，以及在平稳子域上的空间分割与独立建模。深度学习技术的出现为建模空间关系提供了新的流程。然而，在地理空间背景下利用深度学习缓解空间非平稳性方面，缺乏已论证的最佳实践和一般性指导。我们展示了两类常见的地质统计空间非平稳性对深度学习模型预测性能的影响，并提出了利用自注意力（vision transformer）模型缓解此类影响的方法。我们展示了视觉Transformer在缓解非平稳性方面的效用，其相对误差低至10%，超越了卷积神经网络等替代深度学习方法的性能。我们通过展示自注意力网络在存在常见地理空间非平稳性时建模大尺度空间关系的能力，确立了最佳实践。
引用
@article{arxiv.2212.04633,
title = {Mitigation of Spatial Nonstationarity with Vision Transformers},
author = {Lei Liu and Javier E. Santos and Maša Prodanović and Michael J. Pyrcz},
journal= {arXiv preprint arXiv:2212.04633},
year = {2023}
}