M-PhyGs：从视频中估计多材料物体的动力学
计算机视觉与模式识别
2025-12-19 v1
摘要
了解支配现实世界物体动力学的物理材料属性对于准确预测其对未见交互的响应至关重要。现有方法假设物体为均匀的单材料、预先学习的动力学或简化的拓扑结构，从视觉数据估计此类物理材料参数。然而，现实世界的物体在材料组成和几何形状上往往复杂得超出这些假设的范围。本文特别关注花朵作为典型的常见物体。我们提出一种多材料物理高斯 (Multi-material Physical Gaussians, M-PhyGs) 方法，通过视频估算此类多材料复杂天然物体的材料组成和参数。从自然环境中捕获的短视频，M-PhyGs 联合将物体分割为相似材料，并在考虑重力的基础上恢复其连续介质力学参数。M-PhyGs 通过引入级联的3D和2D损失以及利用时间小批量技术高效实现了上述功能。我们构建了一个名为 Phlowers 的数据集，包含人们与花朵交互的场景，旨在评估这一具有挑战性的多材料物理参数估计任务。在 Phlowers 数据集上的实验结果表明，M-PhyGs 及其组件在准确性和有效性方面均表现出色。
引用
@article{arxiv.2512.16885,
title = {M-PhyGs: Multi-Material Object Dynamics from Video},
author = {Norika Wada and Kohei Yamashita and Ryo Kawahara and Ko Nishino},
journal= {arXiv preprint arXiv:2512.16885},
year = {2025}
}