PhotoMaker：通过堆叠ID嵌入定制逼真人物照片
计算机视觉与模式识别
2023-12-08 v1 人工智能
机器学习
多媒体
摘要
文本到图像生成的最新进展在根据给定文本提示合成逼真人物照片方面取得了显著进步。然而，现有的个性化生成方法无法同时满足高效率、高身份（ID）保真度和灵活文本可控性的要求。在这项工作中，我们介绍了PhotoMaker，一种高效的个性化文本到图像生成方法，其主要将任意数量的输入ID图像编码为一个堆叠ID嵌入，以保留ID信息。这种嵌入作为一个统一的ID表示，不仅能全面封装同一输入ID的特征，还能容纳不同ID的特征以供后续整合。这为更有趣且具有实际价值的应用铺平了道路。此外，为了驱动我们的PhotoMaker训练，我们提出了一种面向ID的数据构建流程来组装训练数据。在通过所提流程构建的数据集的滋养下，我们的PhotoMaker展示了比基于测试时微调的方法更好的ID保留能力，同时提供了显著的速度提升、高质量的生成结果、强大的泛化能力以及广泛的应用范围。我们的项目页面可在 https://photo-maker.github.io/ 获取。
引用
@article{arxiv.2312.04461,
title = {PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
author = {Zhen Li and Mingdeng Cao and Xintao Wang and Zhongang Qi and Ming-Ming Cheng and Ying Shan},
journal= {arXiv preprint arXiv:2312.04461},
year = {2023}
}
备注
Tech report; Project page: https://photo-maker.github.io/