结构能量引导采样用于视角一致的文本到3D生成
计算机视觉与模式识别
2025-08-26 v1
摘要
文本到3D生成常面临Janus问题，即物体正面看起来正确，但从其他角度观察时几何结构会坍塌为重复或失真的形态。我们将这一失败归因于2D扩散先验中的视角偏差，该偏差会传播至3D优化过程。为解决此问题，我们提出结构能量引导采样（SEGS），一种无需训练、即插即用的框架，完全在采样阶段强制多视角一致性。SEGS在中间U-Net特征的PCA子空间中定义结构能量，并将其梯度注入去噪轨迹，引导几何结构朝向目标视角，同时保持外观保真度。SEGS可无缝集成到SDS/VSD流程中，显著减少Janus伪影，在无需重新训练或修改权重的情况下实现更优的几何对齐与视角一致性。
引用
@article{arxiv.2508.16917,
title = {Structural Energy-Guided Sampling for View-Consistent Text-to-3D},
author = {Qing Zhang and Jinguang Tong and Jie Hong and Jing Zhang and Xuesong Li},
journal= {arXiv preprint arXiv:2508.16917},
year = {2025}
}