OmniFysics:通过 Omni-Modal Signal Processing and Network Optimization 实现物理智能进化
计算机视觉与模式识别
2026-04-08 v2
摘要
网络化 AI 系统的自主演化高度依赖稳健的环境感知。然而,由于关键物理信号在视觉上模糊且在网络规模数据中稀疏表示,当前模型中的物理理解仍然脆弱。为弥合数据导向学习与基于知识的物理规则之间的差距,我们提出 OmniFysics,一个紧凑的 omni-modal 网络,统一跨图像、音频、视频和文本的信号处理与理解。为实现自主优化并注入显式物理知识,我们构建了一个动态物理数据引擎。在该引擎中,FysicsAny 作为一种自适应机制,通过层次检索和物理法则受限的信号验证,将显著对象映射到已验证的物理属性,从而产生物理依托的监督信号。同时,FysicsOmniCap 通过先进的音视频跨模态信号处理从 web 视频中蒸馏,生成强调动态物理线索的高保真数据对。我们通过阶段性多模态对齐和进化指令调优优化 OmniFysics 网络,集成基于潜在空间流匹配的生成和用于高效执行的自适应意图路由。实验表明,这种进化优化范式不仅在标准多模态基准上实现了竞争性能,还在面向物理的评估中显著推进了物理-oriented 评估。
关键词
引用
@article{arxiv.2602.07064,
title = {OmniFysics: Towards Physical Intelligence Evolution via Omni-Modal Signal Processing and Network Optimization},
author = {Minghao Han and Dingkang Yang and Yue Jiang and Yizhou Liu and Lihua Zhang},
journal= {arXiv preprint arXiv:2602.07064},
year = {2026}
}
备注
This work has been submitted to the IEEE for possible publication