基于 4D 空间时间嵌入的自监督多模态世界模型
人工智能
2026-03-10 v1
摘要
我们提出 DeepEarth，一个自监督多模态世界模型，包含 Earth4D，一种新颖的地球尺度 4D 空间时间位置编码器。Earth4D 将 3D 多分辨率哈希编码扩展到包括时间，在以亚米、亚秒精度跨星球规模进行有效扩展。将 Earth4D 嵌入与多模态编码器（如视觉语言模型）融合，并通过掩码重建进行训练。我们通过在生态预测基准测试中实现的最新性能，展示了 Earth4D 的表达能力。Earth4D 采用可学习的哈希探针，超越在数据量更大的情况下预训练的多模态基础模型。访问开源代码和下载模型：https://github.com/legel/deepearth
引用
@article{arxiv.2603.07039,
title = {Self-Supervised Multi-Modal World Model with 4D Space-Time Embedding},
author = {Lance Legel and Qin Huang and Brandon Voelker and Daniel Neamati and Patrick Alan Johnson and Favyen Bastani and Jeff Rose and James Ryan Hennessy and Robert Guralnick and Douglas Soltis and Pamela Soltis and Shaowen Wang},
journal= {arXiv preprint arXiv:2603.07039},
year = {2026}
}
备注
8 pages, 5 figures, 1 table. Presented at 2026 World Modeling Workshop, Mila Quebec