JointNet：扩展文本到图像扩散用于密集分布建模
计算机视觉与模式识别
2023-10-11 v1
摘要
我们介绍JointNet，一种用于建模图像与额外密集模态（如深度图）联合分布的新型神经网络架构。JointNet由预训练的文本到图像扩散模型扩展而来，其中为新的密集模态分支创建原始网络的一个副本，并与RGB分支密集连接。在网络微调期间RGB分支被锁定，从而在新模态分布的高效学习的同时保持大规模预训练扩散模型的强泛化能力。我们以RGBD扩散为例并通过大量实验证明了JointNet的有效性，展示了其在联合RGBD生成、密集深度预测、深度条件图像生成以及连贯基于图块的3D全景生成等多种应用中的适用性。
引用
@article{arxiv.2310.06347,
title = {JointNet: Extending Text-to-Image Diffusion for Dense Distribution Modeling},
author = {Jingyang Zhang and Shiwei Li and Yuanxun Lu and Tian Fang and David McKinnon and Yanghai Tsin and Long Quan and Yao Yao},
journal= {arXiv preprint arXiv:2310.06347},
year = {2023}
}