S-DyRF:面向动态场景的基于参考的风格化辐射场
计算机视觉与模式识别
2024-03-25 v3
摘要
当前的 3D 风格化方法通常假设场景是静态的,这违背了真实世界的动态本质。为了解决这一局限性,我们提出了 S-DyRF,一种面向动态神经辐射场的基于参考的时空风格化方法。然而,由于沿时间轴可用的风格化参考图像有限,对动态 3D 场景进行风格化本质上具有挑战性。我们的关键见解在于引入所提供参考之外的额外时间线索。为此,我们根据给定的风格化参考生成时间伪参考。这些伪参考促进了风格信息从参考向整个动态 3D 场景的传播。对于粗粒度风格迁移,我们强制新视角和时间在特征层面模拟伪参考中存在的风格细节。为了保留高频细节,我们从时间伪参考中创建了一组风格化时间伪射线。这些伪射线作为实现细粒度风格迁移的详细且显式的风格化指导。在合成数据集和真实世界数据集上的实验表明,我们的方法在动态 3D 场景的时空视角合成上产生了合理的风格化结果。
引用
@article{arxiv.2403.06205,
title = {S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes},
author = {Xingyi Li and Zhiguo Cao and Yizheng Wu and Kewei Wang and Ke Xian and Zhe Wang and Guosheng Lin},
journal= {arXiv preprint arXiv:2403.06205},
year = {2024}
}
备注
Accepted by CVPR 2024. Project page: https://xingyi-li.github.io/s-dyrf/