ConRF：基于条件辐射场的 3D 场景零样本风格化
计算机视觉与模式识别
2024-03-08 v2
摘要
现有的大多数关于任意 3D NeRF 风格迁移的工作都需要针对每种单一风格条件进行重新训练。本研究旨在利用文本或视觉输入作为条件因子，在 3D 场景中实现零样本可控风格化。我们引入了 ConRF，一种零样本风格化的新方法。具体而言，由于 CLIP 特征的模糊性，我们采用了一个转换过程，将 CLIP 特征空间映射到预训练 VGG 网络的风格空间，然后将 CLIP 多模态知识精炼到风格迁移神经辐射场中。此外，我们使用 3D 体积表示来执行局部风格迁移。通过结合这些操作，ConRF 提供了使用文本或图像作为参考的能力，从而生成由全局或局部风格化增强的新视角序列。我们的实验表明，在视觉质量方面，ConRF 在 3D 场景和单文本风格化上优于其他现有方法。
引用
@article{arxiv.2402.01950,
title = {ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation Fields},
author = {Xingyu Miao and Yang Bai and Haoran Duan and Fan Wan and Yawen Huang and Yang Long and Yefeng Zheng},
journal= {arXiv preprint arXiv:2402.01950},
year = {2024}
}