通过结构特征和 CLIP 指导改进 3D 生成中的视点一致性
计算机视觉与模式识别
2025-08-15 v4
摘要
尽管近期在文本到 3D 生成技术方面取得了进展，当前方法常常因几何不一致性而受到限制，即所谓的 Janus 问题。本文识别到 Janus 问题的根本原因：扩散模型中的视点生成偏差，导致实际生成的视点与优化 3D 模型所需的预期视点之间存在显著差距。为此，我们提出一种无需微调的称为注意力和 CLIP 指导（ACG）机制的方法。ACG 通过自适应控制交叉注意力图谱来增强所需视点，采用 CLIP 基于视点-文本相似性的机制筛选错误视点，并利用分阶段提示的粗到细优化策略逐步细化 3D 生成。广泛的实验表明，我们的方法在不牺牲生成速度的前提下显著减少了 Janus 问题，使 ACG 成为现有文本到 3D 框架中高效、即插即用的组件。
引用
@article{arxiv.2412.02287,
title = {Improving Viewpoint Consistency in 3D Generation via Structure Feature and CLIP Guidance},
author = {Qing Zhang and Jinguang Tong and Jing Zhang and Jie Hong and Xuesong Li},
journal= {arXiv preprint arXiv:2412.02287},
year = {2025}
}