统一隐式神经风格化
计算机视觉与模式识别
2022-08-23 v3
摘要
通过隐式表示（例如基于坐标的深度网络）来表示视觉信号已在许多视觉任务中盛行。本工作探索了一个新颖有趣的的方向：训练风格化的隐式表示，使用一种可应用于各种2D和3D场景的通用方法。我们对多种隐式函数进行了初步研究，包括基于2D坐标的表示、神经辐射场和符号距离函数。我们的解决方案是一个称为INS的统一隐式神经风格化框架。与原始隐式表示不同，INS将普通隐式函数解耦为风格隐式模块和内容隐式模块，以分别编码来自风格图像和输入场景的表示。随后应用一个融合模块来聚合这些信息并合成风格化输出。为了正则化3D场景中的几何结构，我们提出了一种新颖的自蒸馏几何一致性损失，以保留风格化场景的几何保真度。我们在多个任务设置上进行了全面实验，包括复杂场景的新视角合成、隐式表面的风格化以及使用MLP拟合图像。我们进一步证明，所学表示不仅在空间上连续，在风格上也是连续的，从而可以轻松在不同风格之间插值并生成具有新混合风格的图像。更多视角合成结果请参考我们项目页面上的视频：https://zhiwenfan.github.io/INS。
引用
@article{arxiv.2204.01943,
title = {Unified Implicit Neural Stylization},
author = {Zhiwen Fan and Yifan Jiang and Peihao Wang and Xinyu Gong and Dejia Xu and Zhangyang Wang},
journal= {arXiv preprint arXiv:2204.01943},
year = {2022}
}