场景条件下的3D物体风格化与组合
计算机视觉与模式识别
2025-05-02 v2
摘要
近年来，3D生成模型取得了令人瞩目的进展，能够从文本或图像输入生成几乎任意的3D资产。然而，这些方法孤立地生成物体，而没有考虑它们最终将被放置的场景。在本文中，我们提出了一个框架，允许对现有3D资产进行风格化以融入给定的2D场景，并额外生成逼真的组合，就好像该资产被放置在该环境中一样。这不仅为物体风格化开辟了新的控制级别，例如，同一资产可以被风格化以反映环境的变化，如夏季到冬季或奇幻与未来设定的对比，而且使得物体-场景组合更加可控。我们通过将可微分光线追踪与来自预训练文本到图像扩散模型的图像先验相结合，对物体纹理和环境光照进行建模和优化来实现这一点。我们证明我们的方法适用于各种室内外场景和任意物体。项目页面：https://jensenzhoujh.github.io/scene-cond-3d/。
引用
@article{arxiv.2312.12419,
title = {Scene-Conditional 3D Object Stylization and Composition},
author = {Jinghao Zhou and Tomas Jakab and Philip Torr and Christian Rupprecht},
journal= {arXiv preprint arXiv:2312.12419},
year = {2025}
}