StyleRF-VolVis：用于表达性体绘制的神经辐射场风格迁移

在体绘制中，可视化合成因其能够在不遵循传统渲染管线的情况下生成新颖可视化而受到广泛关注。然而，基于生成对抗网络的现有解决方案通常需要大量训练图像且训练时间显著长。此外，低质量、不一致性和灵活性不足等问题仍然存在。本文提出了 StyleRF-VolVis，一个用于表达性体绘制（VolVis）的创新风格迁移框架，通过神经辐射场（NeRF）实现。StyleRF-VolVis 的表达性体现在其能够准确分离底层场景几何（即内容）和颜色外观（即风格），方便地修改原始渲染的颜色、不透明度和光照，同时保持跨视图的视觉内容一致性，并有效地将参考图像中的任意风格迁移到重建的 3D 场景。为实现这些目标，我们设计了一个基础 NeRF 模型用于场景几何提取，一个调色板颜色网络用于对辐射场区域进行分类以实现照片级真实感编辑，以及一个无约束颜色网络通过知识蒸馏解除颜色调色板约束以实现非照片级真实感编辑。我们通过在各种体渲染场景和参考图像上的实验，以及与基于图像（AdaIN）、基于视频（ReReVST）和基于 NeRF（ARF 和 SNeRF）的风格渲染方案的对比，展示了 StyleRF-VolVis 在质量、一致性和灵活性方面的优越性。