探讨物理基础模型中 tokeniser 预训练的价值

我们研究了tokeniser预训练对物理仿真精度与效率的影响。现代高分辨率模拟产生海量数据，跨越多样物理制度与尺度。训练基础模型以学习此类数据背后动力学的能力，使我们能够在数据有限的环境中建模复杂的多物理现象。新兴的物理基础模型类通常旨在联合学习两个任务：(i) 从高分辨率时空数据中提取紧凑表征，(ii) 捕获支配物理动力学。然而，同时从头开始学习这两个任务可能妨碍其中任一过程的有效性。我们表明，针对物理仿真进行tokeniser预训练可提升计算效率。值得注意的是，这种益处的大小取决于领域对齐程度：针对相同物理系统进行预训练可获得最大改进，而针对其他系统的预训练仅提供温和的提升。在10,500次训练步骤后，领域内预训练可将VRMSE降低64%。在此之前，人们尚无系统性地研究过物理基础模型的tokeniser预训练。我们进一步引入灵活的时空压缩操作，将因果卷积扩展为支持运行时可调压缩比的压缩操作，从而高效适应多样下游任务。我们的发现为训练高效物理仿真器提供了实用指导，并凸显了战略预训练数据选择的重要性。