地下透明度：面向地球 subsurface 的多模态基础模型

我们提出了 Transparent Earth，一款用于从异构数据集中重建地下属性的 transformer-based 架构，这些数据集在稀疏性、分辨率和模态性方面各不相同，其中每种模态代表一种特定类型的观察(例如，应力角、地幔温度、板块类型)。该模型将观察的位置编码与模态编码相结合，后者是应用于每种模态描述的文本嵌入模型派生。此设计使模型能够扩展到任意数量的模态，使其轻松添加最初设计时未考虑的新模态。我们目前包括八种模态，涵盖方向角、类别类别和连续属性，如温度和厚度。这些能力支持 in-context 学习，使模型能够生成预测，无需输入，或使用来自任意模态子集的任意数量的额外观察。在验证数据上，该方法将应力角的预测误差降低了超过三倍。该提出的架构具有可扩展性，并在参数数量增加时显示出 improved performance。鉴于这些进展，Transparent Earth 成为地球 subsurface 的初始 foundation model，最终旨在预测地球任何位置的任何 subsurface 属性。