ControLRM：通过大规模重建模型实现快速可控3D生成
计算机视觉与模式识别
2024-10-15 v1 人工智能
摘要
尽管近期发展了许多3D生成方法，但实现可控性仍是一个具有挑战性的课题。当前方法利用得分蒸馏采样，因繁琐的程序而耗时较长。此外，先生成2D表示再映射到3D缺乏两种表示形式之间的内部对齐。为此，我们引入ControLRM，一个用于快速可控3D生成的端到端前馈模型，基于大规模重建模型(LRM)。ControLRM由2D条件生成器、条件编码变换器和三平面解码器变换器组成。我们主张联合训练框架。 在条件训练分支中，我们冻结三平面解码器，重复使用在LRM中使用数百万3D数据进行预训练的深层稳健编码层。在图像训练分支中，我们解冻三平面解码器以建立2D与3D表示之间的隐式对齐。为确保无偏评估，我们从三个不同的子数据集(G-OBJ、GSO、ABO)中挑选评估样本，而非依赖挑选性的人工生成。对3D可控性和生成质量的定性和定量比较实验充分展示了我们方法的强大泛化能力。
引用
@article{arxiv.2410.09592,
title = {ControLRM: Fast and Controllable 3D Generation via Large Reconstruction Model},
author = {Hongbin Xu and Weitao Chen and Zhipeng Zhou and Feng Xiao and Baigui Sun and Mike Zheng Shou and Wenxiong Kang},
journal= {arXiv preprint arXiv:2410.09592},
year = {2024}
}
备注
Draft version. This paper is still in submission. For access to our project page and code, please visit: https://toughstonex.github.io/controlrm.github.io/