Cue3D:量化单图像3D生成中图像线索的作用
计算机视觉与模式识别
2025-12-01 v1
摘要
人类和传统计算机视觉方法依赖于多样化的单目线索来推断单张图像的3D结构,如阴影、纹理、轮廓等。虽然近期深度生成模型在单图像3D生成方面取得了显著进展,但这些方法实际上利用哪些图像线索仍不清晰。我们提出Cue3D,首个全面、模型无关的框架,用于量化单图像3D生成中各个图像线索的影响。我们的统一基准评估了七种最先进的方法,涵盖回归基方法、多视角方法和原生3D生成范式。通过系统性扰动线索如阴影、纹理、轮廓、透视、边缘和局部连续性,我们衡量其对3D输出质量的影响。我们的分析表明,形状的可信度而非纹理决定了泛化性。几何线索,特别是阴影,对3D生成至关重要。我们进一步识别出对提供轮廓的过度依赖以及对透视和局部连续性等线索在不同模型家族中的多样化敏感性。通过剖析这些依赖关系,Cue3D推进了我们对现代3D网络如何利用经典视觉线索的理解,并为开发更透明、更稳健、更可控的单图像3D生成模型提供了方向。
引用
@article{arxiv.2511.22121,
title = {Cue3D: Quantifying the Role of Image Cues in Single-Image 3D Generation},
author = {Xiang Li and Zirui Wang and Zixuan Huang and James M. Rehg},
journal= {arXiv preprint arXiv:2511.22121},
year = {2025}
}
备注
NeurIPS 2025 Highlight; Project page:https://ryanxli.github.io/cue3d/index.html