基于 3D 资产引用的扩散模型用于图像生成：RefAny3D
计算机视觉与模式识别
2026-01-30 v1
摘要
本文提出了一种用于图像生成的 3D 资产引用扩散模型，探讨如何将 3D 资产集成到图像扩散模型中。现有的参考图像生成方法利用大规模预训练扩散模型，展示了在单张参考图像条件下生成多样化图像的强大能力。然而，这些方法仅限于单图像参考，无法利用 3D 资产，限制了其实际应用的灵活性。为克服这一局限，我们提出了一种具有双分支感知的跨域扩散模型，利用 3D 资产的多视图 RGB 图像和点云图共同建模其颜色和标准空间坐标，实现生成图像与 3D 参考之间的精确一致性。我们的在空间对齐的双分支生成架构和领域解耦生成机制确保了两个在空间上对齐但内容解耦的输出（RGB 图像和点云图）的同步生成，将 2D 图像属性与 3D 资产属性相链接。实验表明，我们的方法有效地利用 3D 资产作为参考生成与给定资产一致的图像，为将扩散模型与 3D 内容创建结合开辟了新的可能性。
引用
@article{arxiv.2601.22094,
title = {RefAny3D: 3D Asset-Referenced Diffusion Models for Image Generation},
author = {Hanzhuo Huang and Qingyang Bao and Zekai Gu and Zhongshuo Du and Cheng Lin and Yuan Liu and Sibei Yang},
journal= {arXiv preprint arXiv:2601.22094},
year = {2026}
}
备注
ICLR 2026. Project page: https://judgementh.github.io/RefAny3D Codes: https://github.com/JudgementH/RefAny3D