PhyCAGE：从单张图像生成物理上可行的组成性 3D 资产
计算机视觉与模式识别
2024-11-28 v1
摘要
我们提出了 PhyCAGE，是首个实现从单张图像生成物理上可行组成性 3D 资产的方法。给定输入图像后，首先生成资产各组成部分的一致多视图图像。这些图像随后拟合于 3D 高斯溅写表示。为确保表示为对象所用的高斯在物理上相互兼容，我们引入了基于物理仿真增强的评分蒸馏采样（PSE-SDS）技术，进一步优化高斯的位置。通过将 SDS 损失的梯度设为物理仿真的初始速度，使模拟器充当物理导向的优化器，逐步纠正高斯位置以达到物理上可兼容的状态。实验结果表明，所提方法能够在给定单张图像的情况下生成物理上可行的组成性 3D 资产。
引用
@article{arxiv.2411.18548,
title = {PhyCAGE: Physically Plausible Compositional 3D Asset Generation from a Single Image},
author = {Han Yan and Mingrui Zhang and Yang Li and Chao Ma and Pan Ji},
journal= {arXiv preprint arXiv:2411.18548},
year = {2024}
}
备注
Project page: https://wolfball.github.io/phycage/