StyleDyRF：面向动态神经辐射场的零样本 4D 风格迁移
计算机视觉与模式识别
2024-03-14 v1
摘要
4D 风格迁移旨在将任意视觉风格迁移到具有不同视点和时间的动态 4D 场景的合成新视图上。现有的 3D 风格迁移工作能够有效结合风格图像的视觉特征与神经辐射场（NeRF），但受限于静态场景假设，无法处理 4D 动态场景。因此，我们首次尝试解决 4D 风格迁移这一新颖且具有挑战性的问题，该问题进一步要求风格化结果在动态物体上保持一致性。本文提出 StyleDyRF，该方法通过变形一个规范特征体积来表示 4D 特征空间，并以数据驱动的方式学习该特征体积上的线性风格变换矩阵。为获得规范特征体积，每个时间步的光线借助预训练动态 NeRF 的几何先验进行变形，以在预训练视觉编码器的监督下渲染特征图。利用规范特征体积和风格图像中的内容与风格线索，我们可以通过轻量级神经网络从它们的协方差矩阵中学习风格变换矩阵。学习到的风格变换矩阵能够反映从内容体积到给定风格模式的特征协方差的直接匹配，类似于传统 2D 神经风格迁移中 Gram 矩阵的优化。实验结果表明，我们的方法不仅以零样本方式渲染出照片级真实的 4D 风格迁移结果，而且在视觉质量和一致性方面均优于现有方法。
引用
@article{arxiv.2403.08310,
title = {StyleDyRF: Zero-shot 4D Style Transfer for Dynamic Neural Radiance Fields},
author = {Hongbin Xu and Weitao Chen and Feng Xiao and Baigui Sun and Wenxiong Kang},
journal= {arXiv preprint arXiv:2403.08310},
year = {2024}
}
备注
In submission. The code and model are released at: https://github.com/ToughStoneX/StyleDyRF