OmniPhysGS：用于通用物理动态生成的3D本征高斯
计算机视觉与模式识别
2025-02-03 v1
摘要
最近在3D资产的重建和生成方面取得了显著进展，包括静态情况和具有物理相互作用的情况。为了恢复3D资产的物理属性，现有方法通常假设所有材料属于特定的预定义类别(如弹性)。然而，这些假设忽略了现实场景中多种异构物体的复杂组成，且倾向于对更广泛的对象范围内渲染较不符合物理的动画。我们提出OmniPhysGS用于合成由更通用物体组成的物理基础3D动态场景。OmniPhysGS的关键设计是将每个3D资产视为本征3D高斯的集合。对于每个高斯，其物理材料由12个物理领域专家子模型(橡胶、金属、蜂蜜、水等)的集合表示，这大大增强了所提模型的灵活性。在实现中，我们通过用户指定的提示定义场景，并通过预训练视频扩散模型监督材料加权因子的估计。综合实验表明，OmniPhysGS在更广泛的材料范围内实现了更通用且更真实的物理动态，包括弹性、粘弹性、塑性和流体物质，以及不同材料之间的相互作用。我们的方法在视觉质量和文本对齐度等指标上超过现有方法3%至16%。
引用
@article{arxiv.2501.18982,
title = {OmniPhysGS: 3D Constitutive Gaussians for General Physics-Based Dynamics Generation},
author = {Yuchen Lin and Chenguo Lin and Jianjin Xu and Yadong Mu},
journal= {arXiv preprint arXiv:2501.18982},
year = {2025}
}
备注
Accepted to ICLR 2025; Project page: https://wgsxm.github.io/projects/omniphysgs/