用于3D GAN逆映射的元辅助网络
计算机视觉与模式识别
2023-05-19 v1
摘要
近年来，真实世界图像操控取得了惊人进展。GAN逆映射旨在将真实图像忠实映射到潜码，是该流程的第一步。然而，现有GAN逆映射方法无法同时实现高重建质量与快速推理。此外，现有方法构建于2D GAN之上，缺乏显式强制多视图一致性的机制。本工作中，我们提出一种新颖的元辅助框架，同时利用新近发展的3D GAN作为生成器。所提方法采用两阶段策略。第一阶段，我们使用现成逆映射技术将输入图像逆映射为可编辑潜码。提出辅助网络以给定图像为输入精炼生成器参数，其既预测卷积层权重的偏移，也预测体渲染的采样位置。第二阶段，我们执行元学习以快速使辅助网络适配输入图像，随后通过元学习后的辅助网络合成最终重建图像。大量实验表明，我们的方法在逆映射与编辑任务上均取得更好性能。
引用
@article{arxiv.2305.10884,
title = {Meta-Auxiliary Network for 3D GAN Inversion},
author = {Bangrui Jiang and Zhenhua Guo and Yujiu Yang},
journal= {arXiv preprint arXiv:2305.10884},
year = {2023}
}
备注
10 pages,6 figures