MatPhys：学习材料感知的物理参数，用于从视频中模拟可变形物体
计算机视觉与模式识别
2026-05-20 v1
摘要
从视频中重建可用于仿真的可变形物体对视觉、图形和机器人学领域都至关重要。现有的物理驱动方法可以从视频中恢复物理数字孪生体，但存在两个根本性局限：它们通常假设整个物体材质均匀，且基于单目观察固有的歧义，使得同一材料在不同场景或相互作用下的参数不一致。我们提出了 MatPhys，一个材料感知的前馈框架，从单视图视频中预测弹性质量参数，以这两个问题为设计目标。为放宽材料均匀假设，我们使用 DINO 特征将物体分解为语义意义上的部分，并查询每个部分的材料先验，为每个部分分配其自己的物理行为。为实现跨场景一致性，我们引入一个学习的材料词汇表，其中包含共享的材料嵌入，作为外观与物理之间的桥梁；并进一步将部分级别的先验作为参考分布，用于约束解码器，以确保同一材料在不同场景和相互作用下产生一致的参数。总体而言，这些设计将一个受约束较弱的单目问题转化为基于共享、可重用的材料概念进行的前馈推理。实验表明，我们的方法在重建和未来预测方面与基于场景优化的基准相当，同时在对未知相互作用和物体实现更强的泛化，并具有更一致的物理参数。
引用
@article{arxiv.2605.19386,
title = {MatPhys: Learning Material-Aware Physics Parameters for Deformable Object Simulation from Videos},
author = {Yang Yang and Yiyan Wang and Zheming Liu and Naoya Iwamoto},
journal= {arXiv preprint arXiv:2605.19386},
year = {2026}
}
备注
Submitted to Siggrah Asia 2026