UniRecGen: 统一多视角三维重建与生成
计算机视觉与模式识别
2026-04-06 v2
摘要
稀疏视角三维建模代表了重建保真度与生成合理性之间的基本张力。前馈重建在效率和输入对齐方面表现出色，但通常缺乏实现结构完整性所需的全局先验。反之，基于扩散的生成提供了丰富的几何细节，但在多视角一致性方面存在困难。我们提出了 UniRecGen，一个将这两个范式集成到单一协作系统中的统一框架。为克服坐标空间、三维表示和训练目标中的固有冲突，我们将两个模型对齐到一个共享的规范空间中。我们采用解耦协同学习，在保持稳定训练的同时实现推理时的无缝协作。具体而言，重建模块被适配为提供规范几何锚点，而扩散生成器利用潜在增强条件化来细化和完成几何结构。实验结果表明，UniRecGen 在从稀疏观测创建完整且一致的三维模型方面实现了更高的保真度和鲁棒性，优于现有方法。代码可在 https://github.com/zsh523/UniRecGen 获取。
引用
@article{arxiv.2604.01479,
title = {UniRecGen: Unifying Multi-View 3D Reconstruction and Generation},
author = {Zhisheng Huang and Jiahao Chen and Cheng Lin and Chenyu Hu and Hanzhuo Huang and Zhengming Yu and Mengfei Li and Yuheng Liu and Zekai Gu and Zibo Zhao and Yuan Liu and Xin Li and Wenping Wang},
journal= {arXiv preprint arXiv:2604.01479},
year = {2026}
}