精确物理驱动的文本到三维生成
计算机视觉与模式识别
2024-03-20 v1
摘要
文本到三维生成在基于给定文本提示生成新颖三维内容方面展现出巨大潜力。然而，现有生成方法大多关注几何或视觉合理性，而忽略了生成三维形状的精确物理感知。这极大地阻碍了生成的三维形状在实际应用中的实用性。在这项工作中，我们提出了 Phy3DGen，一种精确物理驱动的文本到三维生成方法。通过分析生成三维形状的固体力学，我们揭示了现有文本到三维生成方法生成的三维形状不符合物理定律，因此在实际应用中不切实际。为此，我们利用三维扩散模型提供三维形状先验，并设计了一个数据驱动的可微物理层，以固体力学优化三维形状先验。这使我们能够高效地优化几何形状，并同时学习三维形状的精确物理信息。实验结果表明，我们的方法能够同时考虑几何合理性和精确物理感知，进一步弥合三维虚拟建模与精确物理世界之间的鸿沟。
引用
@article{arxiv.2403.12438,
title = {Precise-Physics Driven Text-to-3D Generation},
author = {Qingshan Xu and Jiao Liu and Melvin Wong and Caishun Chen and Yew-Soon Ong},
journal= {arXiv preprint arXiv:2403.12438},
year = {2024}
}