GaussianProperty: 将物理属性集成到带 LMM 的 3D 高斯分布中

为视觉数据估计物理属性是计算机视觉、图形学和机器人学中的关键任务， underpinning applications such as augmented reality, physical simulation, and robotic grasping。然而，由于物理属性估计固有的内在歧义，该领域仍未得到充分探索。为解决这些挑战，我们提出了 GaussianProperty，一个无训练框架，用于将材料的物理属性分配给 3D 高斯分布。具体而言，我们将 SAM 的分割能力与 GPT-4V(ision) 的识别能力集成，构建用于 2D 图像的全局-局部物理属性推理模块。随后，我们采用投票策略将多视角 2D 图像中的物理属性投影到 3D 高斯分布。我们展示，具有物理属性注释的 3D 高斯分布可用于物理基动态仿真和机器人抓取。对于物理基动态仿真，我们利用材料点方法（MPM）实现真实感动态仿真。对于机器人抓取，我们开发了抓取力预测策略，基于估计的物理属性估计对象抓取所需的安全力范围。在材料分割、物理基动态仿真和机器人抓取方面的大量实验验证了我们方法的有效性，突显了其在从视觉数据理解物理属性方面的关键作用。线上演示、代码、更多案例和标注数据集均可在 \href{https://Gaussian-Property.github.io}{this https URL} 上获取。