神经 3D 笔触:利用矢量化的 3D 笔触创建风格化 3D 场景
计算机视觉与模式识别
2024-03-13 v2 图形学
摘要
我们提出 Neural 3D Strokes,一种从多视角 2D 图像在任意新视角下生成 3D 场景风格化图像的新技术。不同于现有在体素级别对已训练神经辐射场施加风格化的方法,我们的方法从图像转绘画方法汲取灵感,以矢量笔触模拟人类艺术作品的渐进绘画过程。我们从基本图元与样条开发出一套风格化 3D 笔触调色板,并将 3D 场景风格化任务视为基于这些 3D 笔触图元的多视角重建过程。我们不直接搜索这些 3D 笔触的参数(那将过于昂贵),而是引入一个可微渲染器,允许利用梯度下降优化笔触参数,并提出一种训练方案以缓解梯度消失问题。大量评估表明,我们的方法有效合成具有显著几何与美学风格化且在不同视角间保持外观一致的 3D 场景。我们的方法可进一步与风格损失和图像-文本对比模型集成,以拓展其应用,包括颜色迁移与文本驱动的 3D 场景绘制。结果与代码见 http://buaavrcg.github.io/Neural3DStrokes。
引用
@article{arxiv.2311.15637,
title = {Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D Strokes},
author = {Hao-Bin Duan and Miao Wang and Yan-Xun Li and Yong-Liang Yang},
journal= {arXiv preprint arXiv:2311.15637},
year = {2024}
}
备注
Accepted to CVPR 2024