ConsistentID:保持多模态细粒度身份的人像生成
计算机视觉与模式识别
2024-12-31 v2 人工智能
摘要
基于扩散的技术取得了显著进展,特别是在个性化和定制化人脸生成方面。然而,现有方法在实现高保真度和细致的身份(ID)一致性方面面临挑战,这主要是由于对人脸区域的细粒度控制不足,以及缺乏在充分考虑复杂人脸细节和整体面部的条件下保持 ID 的综合策略。为了解决这些局限性,我们引入了 ConsistentID,这是一种专为在细粒度多模态人脸提示下进行多样化保持身份的人像生成而设计的新方法,仅利用单张参考图像。ConsistentID 包含两个关键组件:一个多模态人脸提示生成器,它结合了人脸特征、相应的人脸描述和整体人脸上下文,以提高人脸细节的精度;以及一个通过人脸注意力定位策略优化的 ID 保持网络,旨在保持人脸区域的 ID 一致性。这些组件共同通过从人脸区域引入细粒度的多模态 ID 信息,显著提高了 ID 保持的准确性。为了促进 ConsistentID 的训练,我们提出了一个包含超过 50 万张人脸图像的细粒度人像数据集 FGID,与现有的公开人脸数据集相比,提供了更大的多样性和全面性。% 例如 LAION-Face、CelebA、FFHQ 和 SFHQ。实验结果证实,我们的 ConsistentID 在个性化人脸生成方面实现了卓越的精度和多样性,在 MyStyle 数据集上超越了现有方法。此外,虽然 ConsistentID 引入了更多的多模态 ID 信息,但它在生成过程中保持了快速的推理速度。
引用
@article{arxiv.2404.16771,
title = {ConsistentID: Portrait Generation with Multimodal Fine-Grained Identity Preserving},
author = {Jiehui Huang and Xiao Dong and Wenhui Song and Zheng Chong and Zhenchao Tang and Jun Zhou and Yuhao Cheng and Long Chen and Hanhui Li and Yiqiang Yan and Shengcai Liao and Xiaodan Liang},
journal= {arXiv preprint arXiv:2404.16771},
year = {2024}
}
备注
Project page: https://ssugarwh.github.io/consistentid.github.io/