Instruct 3D-to-3D：文本指令引导的 3D 到 3D 转换
计算机视觉与模式识别
2023-03-29 v1
摘要
我们提出了一种高质量的 3D 到 3D 转换方法，Instruct 3D-to-3D。我们的方法针对一项新任务而设计，即根据文本指令将给定 3D 场景转换为另一场景。Instruct 3D-to-3D 应用预训练的 Image-to-Image 扩散模型进行 3D 到 3D 转换。这使得各视角图像的可能性最大化并实现高质量 3D 生成。此外，我们提出的方法显式输入源 3D 场景作为条件，增强了 3D 一致性以及对源 3D 场景结构反映程度的 controllability。我们还提出了动态缩放，允许调整几何变换的强度。我们进行了定量与定性评估，表明所提方法实现了比基线方法更高质量的 3D 到 3D 转换。
引用
@article{arxiv.2303.15780,
title = {Instruct 3D-to-3D: Text Instruction Guided 3D-to-3D conversion},
author = {Hiromichi Kamata and Yuiko Sakuma and Akio Hayakawa and Masato Ishii and Takuya Narihira},
journal= {arXiv preprint arXiv:2303.15780},
year = {2023}
}
备注
Project page: https://sony.github.io/Instruct3Dto3D-doc/