UniPortrait：面向身份保持的单人与多人图像个性化统一框架
计算机视觉与模式识别
2024-09-09 v2
摘要
本文提出了 UniPortrait，一个创新的人类图像个性化框架，统一了单 ID 和多 ID 定制，具备高质量面部保真、广泛的面部可编辑性、自由形式的输入描述以及多样化的布局生成能力。UniPortrait 仅由两个即插即用模块组成：ID 嵌入模块和 ID 路由模块。ID 嵌入模块采用解耦策略为每个 ID 提取灵活的可编辑面部特征，并将其嵌入扩散模型的上下文空间。ID 路由模块随后以自适应方式将这些嵌入组合并分配到合成图像的相应区域，从而实现单 ID 和多 ID 的定制。通过设计严谨的两阶段训练方案，UniPortrait 在单 ID 和多 ID 定制方面实现卓越的性能。定量和定性实验表明，我们的方法优于现有方法，并且具有良好的可扩展性，例如与现有生成控制工具的通用兼容性。项目页面请访问 https://aigcdesigngroup.github.io/UniPortrait-Page/。
引用
@article{arxiv.2408.05939,
title = {UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization},
author = {Junjie He and Yifeng Geng and Liefeng Bo},
journal= {arXiv preprint arXiv:2408.05939},
year = {2024}
}
备注
Tech report; Project page: https://aigcdesigngroup.github.io/UniPortrait-Page/