DeOcc-1-to-3：通过自监督多视角扩散实现单图 3D 去遮挖
计算机视觉与模式识别
2025-07-01 v2
摘要
从单张图像重建 3D 物体在实际遮挡下仍具有挑战性。虽然最近的扩散基视图合成模型可以从单张 RGB 图像生成一致的新视角，但通常假设输入完全可见，当物体部分被遮挡时会导致 3D 重建质量下降。我们提出DeOcc-1-to-3，这是一个面向遮挡感知的多视角生成框架，从单张遮挡图像直接合成六个结构一致的新视角，无需先验 inpainting 或手动标注，即可实现可靠的 3D 重建。我们的自监督训练管道利用遮挡-非遮挡图像对和伪 ground-truth 视图，教会模型进行结构感知完成和视角一致性。无需修改原始架构，我们完全对视图合成模型进行微调，以联合学习完成和多视角生成。此外，我们引入了第一个针对遮挡感知重建的基准，涵盖多样化的遮挡程度、物体类别和掩码模式，为未来评估提供标准化协议。
引用
@article{arxiv.2506.21544,
title = {DeOcc-1-to-3: 3D De-Occlusion from a Single Image via Self-Supervised Multi-View Diffusion},
author = {Yansong Qu and Shaohui Dai and Xinyang Li and Yuze Wang and You Shen and Liujuan Cao and Rongrong Ji},
journal= {arXiv preprint arXiv:2506.21544},
year = {2025}
}
备注
Project page: \url{https://quyans.github.io/DeOcc123/}