基于参考的三平面感知图像编辑
计算机视觉与模式识别
2025-04-16 v3
摘要
生成对抗网络（GAN）通过操纵其潜在空间，已成为高质量图像生成和真实图像编辑的强大工具。GAN的最新进展包括3D感知模型，如EG3D，其特点是基于高效的三平面架构，能够从单张图像重建3D几何。然而，对于提供集成框架以实现3D感知、高质量、基于参考的图像编辑，关注仍然有限。本研究通过探索和证明三平面空间在高级基于参考编辑中的有效性来填补这一空白。我们的新颖方法整合了编码、自动定位、三平面特征的空间解耦和融合学习，以实现所需的编辑。我们展示了我们的方法如何在多个领域表现出色，包括人脸、360度头部、动物脸、部分风格化编辑（如卡通脸）、全身服装编辑以及类别无关样本的编辑。我们的方法在相关潜在方向、文本和图像引导的2D和3D感知扩散及GAN方法上，在定性和定量方面均显示出最先进的性能。
引用
@article{arxiv.2404.03632,
title = {Reference-Based 3D-Aware Image Editing with Triplanes},
author = {Bahri Batuhan Bilecen and Yigit Yalin and Ning Yu and Aysegul Dundar},
journal= {arXiv preprint arXiv:2404.03632},
year = {2025}
}
备注
CVPR 2025 Highlight. Includes supplementary material