ISS：以图像为踏脚石的文本引导3D形状生成
计算机视觉与模式识别
2023-02-27 v6
摘要
由于缺少大规模配对文本-形状数据、两种模态间存在显著语义鸿沟以及3D形状结构复杂，文本引导的3D形状生成仍具挑战性。本文提出一种称为图像即踏脚石(Image as Stepping Stone, ISS)的新框架，通过引入2D图像作为连接两种模态的踏脚石并消除对配对文本-形状数据的需求来完成该任务。我们的关键贡献是一种两阶段特征空间对齐方法，其利用带多视图监督的预训练单视图重建(SVR)模型将CLIP特征映射到形状：首先将CLIP图像特征映射到SVR模型中细节丰富的形状空间，然后将CLIP文本特征映射到形状空间，并通过鼓励输入文本与渲染图像间的CLIP一致性来优化该映射。进一步，我们构建了一个文本引导的形状风格化模块，用新颖纹理装扮输出形状。超越现有基于文本生成3D形状的工作，我们的新方法可泛化地创建广泛类别的形状，且无需配对文本-形状数据。实验结果表明，我们的方法在保真度及与文本的一致性上优于SOTA与基线。此外，我们的方法能用真实与幻想的结构及纹理对生成形状进行风格化。
引用
@article{arxiv.2209.04145,
title = {ISS: Image as Stepping Stone for Text-Guided 3D Shape Generation},
author = {Zhengzhe Liu and Peng Dai and Ruihui Li and Xiaojuan Qi and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2209.04145},
year = {2023}
}
备注
ICLR 2023 spotlight