LASS-ODE：将 ODE 计算扩展至联接基础模型与动力学物理系统
机器学习
2026-02-05 v2 人工智能
摘要
基础模型已在语言、视觉和时间序列数据分析中取得突破，但在动态预测物理系统方面进展有限。鉴于物理约束的复杂性，亟需解决两个挑战：（i）物理-计算可扩展性：物理导向学习可实现物理正则化，但其计算（如 ODE 积分）难以扩展至大规模系统。（ii）知识共享效率：注意力机制主要在每个系统内部计算，限制了跨系统提取共享 ODE 结构的能力。我们表明，强制执行 ODE 一致性无需昂贵的非线性积分：基于 token 的局部线性 ODE 表示在保持物理忠实性的同时，可扩展至基础模型规模。因此，我们提出了尊重局部线性 ODE 演化的新型 token 表示。这种线性显著加快积分速度，同时准确逼近局部数据流形。其次，我们引入一种简单且有效的跨系统注意力机制，增强注意力以包含公共结构枢纽（Common Structure Hub, CSH），该枢纽存储共享 token 并跨系统聚合知识。得到的模型称为 LASS-ODE（Large-Scale Small ODE），已在我们的40GB ODE 轨迹收藏上预训练，以实现强劲的领域内性能、零样本跨多样化 ODE 系统的泛化，以及通过微调获得额外提升。
引用
@article{arxiv.2602.01009,
title = {LASS-ODE: Scaling ODE Computations to Connect Foundation Models with Dynamical Physical Systems},
author = {Haoran Li and Chenhan Xiao and Lihao Mai and Yang Weng and Erik Blasch},
journal= {arXiv preprint arXiv:2602.01009},
year = {2026}
}