中文

StylePrompter:所有风格只需注意力

计算机视觉与模式识别 2023-08-01 v1

摘要

GAN 反演旨在将给定图像反演为生成对抗网络(GANs)的对应潜码,尤其是 StyleGAN,其具有解耦的潜空间,可在潜层进行基于属性的图像编辑。由于大多数反演方法基于卷积神经网络(CNNs),我们创新性地将分层视觉 Transformer 主干迁移到 token 级别以预测 W+\mathcal{W^+} 潜码。我们进一步在 F\mathcal{F} 空间中应用风格驱动多尺度自适应细化 Transformer(SMART)来细化生成器的中间风格特征。通过将风格特征作为查询从编码器特征图中检索丢失的身份信息,SMART 不仅能生成高质量的反演图像,还能出人意料地适应编辑任务。我们随后证明 StylePrompter 位于更解耦的 W+\mathcal{W^+} 中,并展示了 SMART 的可控性。最后,定量与定性实验表明,StylePrompter 能在重建质量与可编辑性之间取得理想平衡,且足够“智能”以适配大多数编辑,优于其他涉及 F\mathcal{F} 的反演方法。

关键词

引用

@article{arxiv.2307.16151,
  title  = {StylePrompter: All Styles Need Is Attention},
  author = {Chenyi Zhuang and Pan Gao and Aljosa Smolic},
  journal= {arXiv preprint arXiv:2307.16151},
  year   = {2023}
}

备注

Some figures in the appendix are compressed for the reason of arXiv submission constrict