Mini-JEPA 基础模型集群赋能智能体水文智能
机器学习
2026-05-15 v1 计算与语言
摘要
地理空间基础模型将多光谱观测压缩为密集嵌入,这些嵌入日益用于自然语言环境推理系统。单一行星尺度模型(例如 Google AlphaEarth)能很好地处理广泛特征化,但可能会在专门的水文信号上妥协。此类通用模型通常也难以访问、昂贵且需要大规模计算。我们提出 Mini-JEPAs:一个由路由智能体针对专门问题咨询的小型传感器专用联合嵌入预测架构(JEPA)基础模型集群。我们预训练了五个具有 2200 万参数的 Mini-JEPA,它们共享相同的 Vision Transformer 主干、JEPA 方案和 64 维输出空间,使用 Sentinel-2 光学、Sentinel-1 SAR、MODIS 热红外、多时相 Sentinel-2 物候以及地形-土壤堆叠。每个 Mini-JEPA 重建与其传感器匹配的变量,交叉验证的 对于高程达到 0.97,对于温度达到 0.97,对于降水达到 0.81。这五个流形在几何结构上有所不同,全局参与率从 8.9 到 20.2,局部本征维数从 2.3 到 9.0。对于土壤湿度、干旱度和降水( 高达 0.031),联合地形-土壤和物候模型比单独使用 AlphaEarth 增加了预测价值。路由 LLM 读取每个模态的参考,并在精选问题集上以完美命中率选择合适的传感器。在配对的 LLM-as-Judge 评估中,在 AlphaEarth 和路由集群上的双重检索在物理匹配问题上优于单独使用 AlphaEarth(Cohen's ,)。本地训练的 Mini-JEPA 可以以适度的计算量被应用于水文智能。
引用
@article{arxiv.2605.14120,
title = {Mini-JEPA Foundation Model Fleet Enables Agentic Hydrologic Intelligence},
author = {Mashrekur Rahman},
journal= {arXiv preprint arXiv:2605.14120},
year = {2026}
}