Walrus：面向连续动力学的跨域基础模型
机器学习
2025-11-20 v1 人工智能
计算工程、金融与科学
摘要
基础模型已在语言和视觉领域取得变革性影响，但在物理仿真领域取得类似影响力仍是挑战。数据异构性和不可稳定的长期动力学阻碍了从足够多样化的动力学中学习，而不同分辨率和维度挑战了在现代硬件上的高效训练。通过经验和理论分析，我们引入新方法缓解这些障碍，包括基于谐波分析的稳定方法、负载均衡的二维和三维训练策略以及计算自适应标记化。使用这些工具，我们开发了 Walrus——一个主要用于类流体连续动力学的基于 Transformer 的基础模型。Walrus 在横跨天文学、地球科学、流变学、等离子体物理、声学和经典流体的十九种多样化场景中进行预训练。实验表明，Walrus 在下游任务和预训练数据广泛范围内，对短期和长期预测时刻均优于先前的基础模型，而消融研究确认我们对预测稳定性、训练吞吐量和迁移性能贡献的价值优于常规方法。代码和模型权重已发布供社区使用。
关键词
引用
@article{arxiv.2511.15684,
title = {Walrus: A Cross-Domain Foundation Model for Continuum Dynamics},
author = {Michael McCabe and Payel Mukhopadhyay and Tanya Marwah and Bruno Regaldo-Saint Blancard and Francois Rozet and Cristiana Diaconu and Lucas Meyer and Kaze W. K. Wong and Hadi Sotoudeh and Alberto Bietti and Irina Espejo and Rio Fear and Siavash Golkar and Tom Hehir and Keiya Hirashima and Geraud Krawezik and Francois Lanusse and Rudy Morel and Ruben Ohana and Liam Parker and Mariel Pettee and Jeff Shen and Kyunghyun Cho and Miles Cranmer and Shirley Ho},
journal= {arXiv preprint arXiv:2511.15684},
year = {2025}
}