TANGO：基于光照分解的文本驱动照片级真实且鲁棒的 3D 风格化
计算机视觉与模式识别
2022-11-04 v2 人工智能
摘要
通过风格化创建 3D 内容在计算机视觉与图形学研究中是一个有前景但具挑战性的问题。本工作中，我们聚焦于对任意拓扑的给定表面网格的照片级真实外观渲染进行风格化。受近期对比语言-图像预训练（CLIP）模型跨模态监督的兴起启发，我们提出 TANGO，其根据文本提示以照片级真实的方式迁移给定 3D 形状的外观风格。技术上，我们提出将外观风格解耦为空间变化的双向反射分布函数、局部几何变化与光照条件，并通过基于球高斯的可微渲染器在 CLIP 损失的监督下联合优化。如此，TANGO 能够通过对即便粗糙、低质量网格自动预测反射效应，实现照片级真实的 3D 风格迁移，而无需在任务特定数据集上训练。大量实验表明，TANGO 在照片级真实质量、3D 几何一致性以及风格化低质量网格的鲁棒性方面优于现有的文本驱动 3D 风格迁移方法。我们的代码与结果见于项目网页 https://cyw-3d.github.io/tango/。
引用
@article{arxiv.2210.11277,
title = {TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition},
author = {Yongwei Chen and Rui Chen and Jiabao Lei and Yabin Zhang and Kui Jia},
journal= {arXiv preprint arXiv:2210.11277},
year = {2022}
}
备注
Accepted by NeurIPS 2022