DeformToon3D：基于神经辐射场的形变式3D卡通化
计算机视觉与模式识别
2023-09-11 v1 图形学
摘要
本文中，我们解决具有挑战性的3D卡通化问题，其涉及将艺术域的风格迁移到具有风格化几何与纹理的目标3D脸上。尽管在艺术域上微调预训练的3D GAN可取得合理性能，该策略在3D域中存在局限。具体而言，微调会破坏原始GAN潜空间，影响后续语义编辑，且每种新风格需独立优化与存储，限制了灵活性与高效部署。为克服这些挑战，我们提出DeformToon3D，一个为分层3D GAN量身定制的高效卡通化框架。我们的方法将3D卡通化分解为几何与纹理风格化子问题，以更好地保留原始潜空间。具体地，我们设计了一种新颖的StyleField，其预测条件3D形变以将实空间NeRF对齐到风格空间以实现几何风格化。得益于已良好处理几何风格化的StyleField公式，纹理风格化可通过自适应风格混合便捷实现，该混合将艺术域信息注入预训练3D GAN的解码器。凭借独特设计，我们的方法支持灵活的风格程度控制与形状-纹理特定风格互换。此外，我们无需任何真实世界2D-3D训练对，仅用现成2D卡通化模型合成的代理样本即实现了高效训练。
引用
@article{arxiv.2309.04410,
title = {DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields},
author = {Junzhe Zhang and Yushi Lan and Shuai Yang and Fangzhou Hong and Quan Wang and Chai Kiat Yeo and Ziwei Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:2309.04410},
year = {2023}
}
备注
ICCV 2023. Code: https://github.com/junzhezhang/DeformToon3D Project page: https://www.mmlab-ntu.com/project/deformtoon3d/