你越多看2D，3D感知就越强
计算机视觉与模式识别
2024-04-05 v1
摘要
人类能够基于过往经验从物体的2D图像中推断出3D结构，并随着观看更多图像而提高对3D的理解。鼓舞于这一行为后， 我们提出SAP3D系统，用于从任意数量的未定位图像进行3D重建和新视角合成。给定一个少量未定位的物体图像，我们通过测试时微调适配预训练的视角条件扩散模型。该适配扩散模型与获取的相机位姿随后被用作3D重建和新视角合成的实例特定先验。我们展示，随着输入图像数量的增加，我们的方法性能提升，弥合了基于优化的无先验3D重建方法与单图像到3D扩散方法之间的差距。我们在真实图像以及标准合成基准上展示了我们的系统。我们的消融研究确认，这种适配行为对于更准确的3D理解至关重要。
引用
@article{arxiv.2404.03652,
title = {The More You See in 2D, the More You Perceive in 3D},
author = {Xinyang Han and Zelin Gao and Angjoo Kanazawa and Shubham Goel and Yossi Gandelsman},
journal= {arXiv preprint arXiv:2404.03652},
year = {2024}
}
备注
Project page: https://sap3d.github.io/