DreamTexture：基于虚拟纹理的形状重建与通过增强进行分析
计算机视觉与模式识别
2025-03-21 v1 人工智能
机器学习
摘要
DreamFusion 结合生成模型与可微渲染的进展，确立了从虚拟视图进行无监督 3D 重建的新范式。然而，其底层的多视图渲染以及来自大规模生成模型的监督在计算上代价高昂且约束不足。我们提出了 DreamTexture，一种新颖的基于虚拟纹理的形状重建 (Shape-from-Virtual-Texture) 方法，该方法利用单目深度线索来重建 3D 物体。我们的方法通过将虚拟纹理与输入中的真实深度线索对齐来对输入图像进行纹理化，利用了现代扩散模型中编码的对单目几何的固有理解。随后，我们通过一种新的共形映射优化从虚拟纹理形变中重建深度，这缓解了内存密集的体积表示。我们的实验表明，生成模型具备对单目形状线索的理解能力，这可以通过增强和对齐纹理线索来提取——我们称之为通过增强进行分析 (Analysis by Augmentation) 的一种新颖的单目重建范式。
引用
@article{arxiv.2503.16412,
title = {DreamTexture: Shape from Virtual Texture with Analysis by Augmentation},
author = {Ananta R. Bhattarai and Xingzhe He and Alla Sheffer and Helge Rhodin},
journal= {arXiv preprint arXiv:2503.16412},
year = {2025}
}
备注
Project page: https://anantarb.github.io/dreamtexture/