中文

Overtone:循环补丁调制用于清洁、高效且灵活的物理模拟器

机器学习 2026-03-06 v2 人工智能 图像与视频处理

摘要

基于Transformer的PDE代理模型取得了显著的性能,但面临两个关键挑战:固定补丁大小在谐波频率上导致系统性误差累积,计算成本无论问题复杂度或可用资源如何都不灵活。我们提出Overtone,通过动态控制推理时的补丁大小实现统一解决方案。Overtone的关键洞察在于:在自回归推理期间循环调制补丁大小可将误差在频谱中分布,从而缓解固定补丁模型所致的系统性谐波制 artifact累积。我们通过两种架构无关的模块实现这一目标——CSM(采用动态步幅调制)和CKM(采用动态核大小调整)——两者共同提供了谐波缓解和计算自适应部署。这种灵活的标记化使用户能够根据计算约束在准确性和速度之间动态权衡,并且循环滚动策略使其在方差归一化RMSE(VRMSE)中长程滚动误差降低最高可达40%。在具有挑战性的2D和3D PDE基准测试中,一种Overtone模型在不同推理计算预算下均可匹配或超越固定补丁基线,在固定总训练预算下的训练设置下表现优异。

关键词

引用

@article{arxiv.2507.09264,
  title  = {Overtone: Cyclic Patch Modulation for Clean, Efficient, and Flexible Physics Emulators},
  author = {Payel Mukhopadhyay and Michael McCabe and Ruben Ohana and Miles Cranmer},
  journal= {arXiv preprint arXiv:2507.09264},
  year   = {2026}
}

备注

48 pages, 24 Figures. For code, see https://github.com/payelmuk150/patch-modulator