面向3D的图像驱动语义属性迁移：SAT3D
计算机视觉与模式识别
2024-08-06 v1 人工智能
摘要
GAN-based image editing task aims at manipulating image attributes in the latent space of generative models.大多数先前的2D和3D-aware方法主要关注编辑具有模糊语义或来自参考图像的区域的属性，这些方法无法实现照片级语义属性迁移，例如从男人照片中迁移胡须。在本文中，我们提出了一种在3D中进行图像驱动的语义属性迁移方法(SAT3D)，通过编辑参考图像中的语义属性来实现。对于所提出的方法，在style space of pre-trained 3D-aware StyleGAN-based generator中进行探索，通过学习语义属性与style code通道之间的相关性。作为指导，我们将每个属性与一组基于短语的描述符组相关联，开发了一个量化测量模块(QMM)，基于描述符组在图像中定量描述属性特征，该模块利用CLIP的图像-文本理解能力。During the training process, the QMM is incorporated into attribute losses to calculate attribute similarity between images, guiding target semantic transferring and irrelevant semantics preserving。我们展示了在多个领域的3D-aware属性迁移结果，并与经典2D图像编辑方法进行了比较，显示了所提出方法的有效性和可定制性。
引用
@article{arxiv.2408.01664,
title = {SAT3D: Image-driven Semantic Attribute Transfer in 3D},
author = {Zhijun Zhai and Zengmao Wang and Xiaoxiao Long and Kaixuan Zhou and Bo Du},
journal= {arXiv preprint arXiv:2408.01664},
year = {2024}
}