LDM3D-VR: 面向 3D VR 的潜在扩散模型
计算机视觉与模式识别
2023-11-07 v1 人工智能
摘要
潜在扩散模型已被证明在视觉输出的生成与操控方面处于最先进水平(state-of-the-art)。然而,据我们所知,联合生成深度图与 RGB 仍较为有限。我们提出 LDM3D-VR,一套面向虚拟现实开发的扩散模型,包含 LDM3D-pano 和 LDM3D-SR。这些模型分别支持基于文本提示生成全景 RGBD,以及将低分辨率输入上采样为高分辨率 RGBD。我们的模型是在包含全景/高分辨率 RGB 图像、深度图和字幕的数据集上从现有预训练模型微调而来。两个模型均与现有相关方法进行了对比评估。
引用
@article{arxiv.2311.03226,
title = {LDM3D-VR: Latent Diffusion Model for 3D VR},
author = {Gabriela Ben Melech Stan and Diana Wofk and Estelle Aflalo and Shao-Yen Tseng and Zhipeng Cai and Michael Paulitsch and Vasudev Lal},
journal= {arXiv preprint arXiv:2311.03226},
year = {2023}
}
备注
Accepted to Workshop on Diffusion Models, NeurIPS 2023