Diffusion Handles：通过将激活提升至 3D 启用扩散模型的 3D 编辑
计算机视觉与模式识别
2023-12-08 v2 图形学
摘要
Diffusion Handles 是一种在扩散图像上实现 3D 物体编辑的新方法。我们使用现有的预训练扩散模型和 2D 图像深度估计来完成这些编辑，无需任何微调或 3D 物体检索。编辑结果保持合理、逼真，并保留了物体身份。Diffusion Handles 解决了基于生成图像的创意设计中严重缺失的一个方面，并显著推进了生成图像编辑领域的 SOTA。我们的核心见解是使用代理深度将物体的扩散激活提升至 3D，对深度及相关的激活进行 3D 变换，然后将其投影回图像空间。对经过身份控制的被操纵激活应用扩散过程，可生成展现出复杂 3D 遮挡和光照效果的合理编辑图像。我们评估了 Diffusion Handles：在大型合成数据基准上进行了定量评估；并通过用户研究进行了定性评估，结果表明我们的输出更合理，并且在 3D 编辑和身份控制方面均优于现有技术。项目网页：https://diffusionhandles.github.io/
引用
@article{arxiv.2312.02190,
title = {Diffusion Handles: Enabling 3D Edits for Diffusion Models by Lifting Activations to 3D},
author = {Karran Pandey and Paul Guerrero and Matheus Gadelha and Yannick Hold-Geoffroy and Karan Singh and Niloy Mitra},
journal= {arXiv preprint arXiv:2312.02190},
year = {2023}
}
备注
Project Webpage: https://diffusionhandles.github.io/