RealFusion：从单张图像对任意物体进行 360° 重建
计算机视觉与模式识别
2023-02-24 v2 人工智能
机器学习
摘要
我们考虑从物体的单张图像重建其完整 360° 照片级模型的问题。我们通过将神经辐射场拟合到该图像来实现，但发现这一问题严重不适定。因此我们采用一个现成的基于扩散的条件图像生成器，并设计提示词以促使它“构想”物体的新视角。使用受 DreamFields 和 DreamFusion 启发的方法，我们将给定输入视角、条件先验及其他正则化项融合为最终一致的重建。与先前的单目物体三维重建方法相比，我们在基准图像上展示了最先进的重建结果。从定性上看，我们的重建忠实匹配输入视角，并合理外推其外观与三维形状，包括图像中不可见的物体侧面。
引用
@article{arxiv.2302.10663,
title = {RealFusion: 360{\deg} Reconstruction of Any Object from a Single Image},
author = {Luke Melas-Kyriazi and Christian Rupprecht and Iro Laina and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2302.10663},
year = {2023}
}
备注
Project page: https://lukemelas.github.io/realfusion