Physics3D: 通过视频扩散学习 3D 高斯的物理属性

近年来，3D 生成模型的快速发展为仿真 3D 物体动态运动和定制其行为等应用开辟了新可能性。然而，当前的 3D 生成模型倾向于仅关注表面特征，如颜色和形状，忽略了支配现实世界物体行为的内在物理属性。要准确模拟与物理相关的动态，必须预测物体的物理属性并纳入行为预测过程中。尽管如此，由于物理属性的复杂性，预测真实物体的多样材料仍具有挑战性。本文提出了 Physics3D—a 一种通过视频扩散模型学习 3D 物体各种物理属性的新方法。我们的方法设计了基于粘弹性材料模型的高度可泛化的物理仿真系统，使我们能够以高保真度模拟广泛范围的材料。此外，我们从包含对真实物体材料理解更深入知识的视频扩散模型中蒸馏物理先验知识。大量实验表明，我们的方法在弹性和塑性材料方面均有效。Physics3D 在物理世界与虚拟神经空间之间搭建了桥梁，为在虚拟环境中集成和应用真实物理原理提供了更好的可能性。项目页面: https://liuff19.github.io/Physics3D。