CLIPXPlore：用于三维形状探索的耦合 CLIP 与形状空间
计算机视觉与模式识别
2023-06-16 v1 图形学
摘要
本文提出 CLIPXPlore，一种利用视觉-语言模型引导三维形状空间探索的新框架。许多近期方法已将三维形状编码至学习得到的潜形状空间，以实现生成式设计与建模。然而，尽管信息丰富，现有方法缺乏有效的探索机制。为此，我们提议利用强大的预训练视觉-语言模型 CLIP 来辅助形状空间探索。我们的思路包含三方面。首先，我们通过草图图像生成配对的 CLIP 与形状编码，并训练映射网络连接两个空间，从而耦合 CLIP 与形状空间。其次，为探索给定形状周围的空间，我们制定一种协同优化策略以搜索更匹配该形状几何的 CLIP 编码。第三，我们设计三种探索模式——二值属性引导、文本引导与草图引导，以在形状空间中定位合适的探索轨迹并引发有意义的结构变化。我们进行了一系列实验，在三种探索模式下定量且可视化地将 CLIPXPlore 与不同基线比较，表明 CLIPXPlore 能产生许多现有方案无法获得的有意义探索结果。
引用
@article{arxiv.2306.08226,
title = {CLIPXPlore: Coupled CLIP and Shape Spaces for 3D Shape Exploration},
author = {Jingyu Hu and Ka-Hei Hui and Zhengzhe liu and Hao Zhang and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2306.08226},
year = {2023}
}