DreamPhysics：利用视频扩散先验学习基于物理的3D动态
计算机视觉与模式识别
2024-12-19 v3
摘要
动态3D交互最近引起了广泛关注。然而，创建此类4D内容仍然具有挑战性。一种解决方案是通过基于物理的模拟来动画化3D场景，这需要手动为对象分配精确的物理属性，否则模拟结果会变得不自然。另一种解决方案是通过蒸馏视频生成模型来学习3D对象的变形，但由于物理先验的提取和应用不当，这种方法往往会产生运动较小且不连续的3D视频。本文为了结合上述两种方案的优点并弥补其不足，提出利用视频扩散先验学习材料场的物理属性，然后使用基于物理的质点法（MPM）模拟器生成具有真实运动的4D内容。具体地，我们提出运动蒸馏采样以在蒸馏过程中强调视频运动信息。此外，为了促进优化，我们进一步提出基于KAN的材料场并采用帧增强。实验结果表明，我们的方法比现有技术具有更真实的运动。
引用
@article{arxiv.2406.01476,
title = {DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors},
author = {Tianyu Huang and Haoze Zhang and Yihan Zeng and Zhilu Zhang and Hui Li and Wangmeng Zuo and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2406.01476},
year = {2024}
}
备注
Accepted by AAAI 2025. Codes are released at: https://github.com/tyhuang0428/DreamPhysics