外部知识增强的草图到三维场景生成
计算机视觉与模式识别
2024-07-11 v2
摘要
由于房间布局和物体几何的复杂性，生成逼真的三维场景具有挑战性。我们提出了一种基于草图的知识增强扩散架构（SEK），用于生成定制化、多样化且合理的三维场景。SEK 以目标场景的手绘草图和来自物体关系知识库的线索为条件进行去噪过程。我们首先构建一个包含物体关系的外部知识库，然后利用知识增强的图推理来辅助模型理解手绘草图。场景被表示为三维物体及其关系的组合，并逐步扩散至高斯分布。我们提出了一种三维去噪场景Transformer，该模型学习在手绘草图及知识线索的条件下逆转扩散过程，以回归方式生成包含三维物体实例及其布局的场景。在 3D-FRONT 数据集上的实验表明，与最接近的竞争对手 DiffuScene 相比，我们的模型在三维场景生成任务中的 FID、CKL 指标分别提升了 17.41%、37.18%，在三维场景补全任务中的 FID、KID 指标分别提升了 19.12%、20.06%。
引用
@article{arxiv.2403.14121,
title = {External Knowledge Enhanced 3D Scene Generation from Sketch},
author = {Zijie Wu and Mingtao Feng and Yaonan Wang and He Xie and Weisheng Dong and Bo Miao and Ajmal Mian},
journal= {arXiv preprint arXiv:2403.14121},
year = {2024}
}
备注
Accepted by ECCV2024