CLIP3Dstyler：语言引导的 3D 任意神经风格迁移
计算机视觉与模式识别
2023-05-29 v2
摘要
本文提出一种新颖的语言引导的 3D 任意神经风格迁移方法（CLIP3Dstyler）。我们的目标是从文本描述中以任意风格对任一 3D 场景进行风格化，并合成新的风格化视图，这比以图像为条件的风格迁移更为灵活。与之前的 2D 方法 CLIPStyler 相比，我们能够对 3D 场景进行风格化，并泛化到新场景而无需重新训练模型。一种直接的方案是结合已有的以图像为条件的 3D 风格迁移与以文本为条件的 2D 风格迁移方法。然而，由于两个主要挑战，该方案无法达成我们的目标。首先，缺少在不同特征尺度（低级、高级）上匹配点云与语言的多模态模型。其次，我们观察到当使用来自文本提示的不同风格条件对内容进行风格化时会出现风格混合问题。针对第一个问题，我们提出一种 3D 风格化框架，在局部与全局视图中将点云特征与文本特征进行匹配。针对第二个问题，我们提出一种改进的方向散度损失，使任意文本风格更具可区分性，作为我们框架的补充。我们进行了大量实验，以展示模型在文本引导的 3D 场景风格迁移上的有效性。
引用
@article{arxiv.2305.15732,
title = {CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer},
author = {Ming Gao and YanWu Xu and Yang Zhao and Tingbo Hou and Chenkai Zhao and Mingming Gong},
journal= {arXiv preprint arXiv:2305.15732},
year = {2023}
}
备注
17 pages, 14 figures