StyleGaussian：基于高斯泼溅的即时 3D 风格迁移
计算机视觉与模式识别
2024-03-13 v1
摘要
我们引入了 StyleGaussian，一种新颖的 3D 风格迁移技术，能够以每秒 10 帧（fps）的速度将任意图像的风格即时迁移到 3D 场景中。借助 3D Gaussian Splatting (3DGS)，StyleGaussian 在实现风格迁移的同时，不损害其实时渲染能力和多视角一致性。它通过三个步骤实现即时风格迁移：嵌入、迁移和解码。首先，将 2D VGG 场景特征嵌入到重建的 3D 高斯中。接着，根据参考风格图像转换嵌入的特征。最后，将转换后的特征解码为风格化 RGB。StyleGaussian 具有两项新颖设计。第一项是高效的特征渲染策略，在嵌入 VGG 特征时，先渲染低维特征，再将其映射为高维特征。这显著降低了内存消耗，使 3DGS 能够渲染高维且内存密集的特征。第二项是基于 K 近邻的 3D CNN。作为风格化特征的解码器，它消除了会破坏严格多视角一致性的 2D CNN 操作。大量实验表明，StyleGaussian 在保持实时渲染和严格多视角一致性的同时，实现了具有优异风格化质量的即时 3D 风格化。项目页面：https://kunhao-liu-liu.github.io/StyleGaussian/
引用
@article{arxiv.2403.07807,
title = {StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting},
author = {Kunhao Liu and Fangneng Zhan and Muyu Xu and Christian Theobalt and Ling Shao and Shijian Lu},
journal= {arXiv preprint arXiv:2403.07807},
year = {2024}
}