As-Plausible-As-Possible：利用2D扩散先验的合理性感知网格变形
计算机视觉与模式识别
2024-04-02 v2 图形学
摘要
我们提出As-Plausible-as-Possible（APAP）网格变形技术，该技术利用2D扩散先验在用户控制的变形下保持网格的合理性。我们的框架使用逐面Jacobian来表示网格变形，其中网格顶点坐标通过可微泊松求解（Poisson Solve）计算。变形后的网格被渲染，得到的2D图像用于分数蒸馏采样（SDS）过程，从而能够从预训练的2D扩散模型中提取有意义的合理性先验。为了更好地保留被编辑网格的identity，我们使用LoRA微调我们的2D扩散模型。由SDS提取的梯度与用户指定的手柄位移随后被反向传播到逐面Jacobian，并使用迭代梯度下降计算最终变形，以在用户编辑与输出合理性之间取得平衡。我们用2D和3D网格评估了我们的方法，并展示了在使用合理性先验相对于先前技术所用的几何保持或畸变最小化先验时，定性与定量上的改进。我们的项目页面位于：https://as-plausible-aspossible.github.io/
引用
@article{arxiv.2311.16739,
title = {As-Plausible-As-Possible: Plausibility-Aware Mesh Deformation Using 2D Diffusion Priors},
author = {Seungwoo Yoo and Kunho Kim and Vladimir G. Kim and Minhyuk Sung},
journal= {arXiv preprint arXiv:2311.16739},
year = {2024}
}
备注
Project page: https://as-plausible-as-possible.github.io/