MM-NeRF：基于多模态引导的神经辐射场三维多风格迁移

三维风格迁移旨在以指定风格生成三维场景的风格化视图，这需要高质量生成并保持多视图一致性。现有方法仍面临带有纹理细节的高质量风格化以及多模态引导风格化的挑战。本文揭示，基于NeRF的风格化常见训练方法——通过2D风格迁移模型生成风格化多视图监督——导致监督中同一物体在不同视图呈现各异状态（色调、细节等），致使NeRF倾向于平滑纹理细节，进一步造成三维多风格迁移渲染质量低下。为解决这些问题，我们提出一种新颖的多模态引导NeRF三维多风格迁移方法，称为MM-NeRF。首先，MM-NeRF将多模态引导投影至统一空间以保持多模态风格一致性，并提取多模态特征引导三维风格化。其次，提出一种新颖多头学习方案以缓解多风格迁移学习难度，并提出多视图风格一致损失以追踪多视图监督数据的不一致性。最后，提出一种新颖增量学习机制，以较小代价将MM-NeRF泛化至任意新风格。在多个真实世界数据集上的大量实验表明，MM-NeRF实现了带多模态引导的高质量三维多风格风格化，并保持多视图一致性与多模态引导间风格一致性。