ZeroComp: 基于扩散模型的零-shot 目标合成
计算机视觉与模式识别
2025-01-13 v2
摘要
我们提出了ZeroComp，一种无需训练期间配对合成场景图像的零-shot 3D目标合成方法。该方法利用ControlNet从内在图像进行条件控制，结合Stable Diffusion模型以利用其场景先验，两者共同构成有效的渲染引擎。在训练阶段，ZeroComp仅使用基于几何、反射率和遮蔽阴影的内在图像，无需配对带无合成目标与合成目标的场景图像。训练完成后，它能无缝地将虚拟3D目标集成到场景中，调整阴影以实现逼真的合成效果。我们构建了高质量的评估数据集，证明ZeroComp在定量和人类感知基准测试中优于基于显式光照估计和生成技术的方法。此外，ZeroComp还能扩展到实际和户外图像合成，尽管仅使用合成室内数据训练，显示出其在图像合成中的有效性。
引用
@article{arxiv.2410.08168,
title = {ZeroComp: Zero-shot Object Compositing from Image Intrinsics via Diffusion},
author = {Zitian Zhang and Frédéric Fortier-Chouinard and Mathieu Garon and Anand Bhattad and Jean-François Lalonde},
journal= {arXiv preprint arXiv:2410.08168},
year = {2025}
}
备注
Project page: https://lvsn.github.io/ZeroComp, Code: https://github.com/lvsn/ZeroComp