PhysiX：面向物理仿真的基础模型

基础模型在视频、图像和语言领域取得了显著成功。通过扩大参数量和训练数据集的规模，这些模型获得了泛化的世界知识，并经常超越特定任务的方法。然而，这种进展尚未扩展到物理仿真领域。一个主要瓶颈是数据稀缺：虽然互联网上可以轻易获取数以百万计的图像、视频和文本资源，但最大的物理仿真数据集仅包含数万个样本。这种数据限制阻碍了大型模型的使用，因为过拟合成为一个主要问题。因此，物理应用通常依赖小模型，由于对上下文理解有限，这些模型在长期预测中表现不佳。此外，与通常表现出固定粒度的图像、视频或文本不同，物理数据集在尺度上往往差异巨大，加剧了扩大多任务训练规模的挑战。我们引入了 PhysiX，这是首个用于物理仿真大规模基础模型。PhysiX 是一个 4.5B 参数的自回归生成模型。它使用离散分词器将不同尺度的物理过程编码为离散 token 序列，并采用自回归的下一 token 预测目标在 token 空间中对这些过程进行建模。为了减轻离散化过程中的舍入误差，PhysiX 引入了一个专门的细化模块。通过广泛的实验，我们表明 PhysiX 有效解决了数据瓶颈，在可比设置下优于特定任务的基线，并在 The Well 基准测试上超越了先前的绝对 SOTA 方法。我们的结果表明，从自然视频中学到的知识可以成功迁移到物理仿真中，并且跨不同仿真任务的联合训练能够实现协同学习。