MyStyle:一种个性化生成先验
计算机视觉与模式识别
2022-10-07 v2 图形学
机器学习
摘要
我们提出 MyStyle,一种以少量某人的图像训练的个性化深度生成先验。MyStyle 能够重建、增强并编辑特定人物的图像,使输出忠实于该人物的关键面部特征。给定一个人的少量肖像图像参考集(约 100 张),我们调整预训练 StyleGAN 人脸生成器的权重,在潜空间中形成一个局部的、低维的个性化流形。我们表明该流形构成了一个个性化区域,涵盖了与该个体多样化肖像图像相关的潜码。此外,我们证明了我们获得了一个个性化生成先验,并提出了一种统一的方法将其应用于各种不适定图像增强问题,如修复和超分辨率,以及语义编辑。利用该个性化生成先验,我们得到的输出对输入图像具有高保真度,并且忠实于参考集中该个体的关键面部特征。我们使用许多广为人知个体的合理使用图像来展示我们的方法,对于这些个体我们具备先验知识以对预期结果进行定性评估。我们将我们的方法与少样本基线进行比较,并表明我们的个性化先验在定量和定性上均优于最先进的替代方案。
引用
@article{arxiv.2203.17272,
title = {MyStyle: A Personalized Generative Prior},
author = {Yotam Nitzan and Kfir Aberman and Qiurui He and Orly Liba and Michal Yarom and Yossi Gandelsman and Inbar Mosseri and Yael Pritch and Daniel Cohen-or},
journal= {arXiv preprint arXiv:2203.17272},
year = {2022}
}
备注
SIGGRAPH ASIA 2022, Project webpage: https://mystyle-personalized-prior.github.io/, Video: https://youtu.be/QvOdQR3tlOc