TAPS3D：基于伪监督的文本引导3D带纹理形状生成
计算机视觉与模式识别
2023-03-24 v1
摘要
本文研究一项开放研究任务：由给定文本描述生成可控的3D带纹理形状。以往工作要么需要真值 caption 标注，要么需要大量优化时间。为解决这些问题，我们提出新框架TAPS3D，以伪 caption 训练文本引导的3D形状生成器。具体而言，基于渲染的2D图像，我们从CLIP词表中检索相关词并使用模板构建伪 caption。我们所构建的 caption 为生成的3D形状提供高层语义监督。进一步，为生成细粒度纹理并增加几何多样性，我们提出采用低层图像正则化使伪渲染图像与真实图像对齐。推理阶段，我们所提模型可由给定文本生成3D带纹理形状而无需任何额外优化。我们进行了充分实验以分析各提出组件，并展示了框架在生成高保真、3D带纹理且文本相关形状上的功效。
引用
@article{arxiv.2303.13273,
title = {TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision},
author = {Jiacheng Wei and Hao Wang and Jiashi Feng and Guosheng Lin and Kim-Hui Yap},
journal= {arXiv preprint arXiv:2303.13273},
year = {2023}
}
备注
Accepted to CVPR2023