RealisID：通过局部与全局互补实现尺度鲁棒和细粒度身份定制

最近，文本到图像合成的成功极大推动了身份定制技术的发展，其主要目标是根据文本提示和参考人脸图像生成逼真的身份特定照片。然而，现有的身份定制方法难以同时满足不同实际应用的各种要求，包括小人脸的身份保真度、人脸位置、姿态和表情的控制，以及多个人的定制。为此，我们提出了一种尺度鲁棒、细粒度可控的方法，称为 RealisID，通过一对局部和全局分支的合作来学习不同的控制能力。具体而言，通过裁剪和上采样操作过滤出人脸无关信息，局部分支集中于人脸区域内的细粒度控制和尺度鲁棒身份保真度。同时，全局分支管理整个图像的整体和谐，并通过输入位置引导来控制人脸位置。结果，RealisID 能够从这两个分支的互补性中获益。最后，通过使用两种不同的 ControlNet 变体实现我们的分支，便可以轻松扩展到处理多人定制，即使仅在单人数据集上训练也可。广泛的实验和消融研究表明，RealisID 的有效性，并验证了其在满足上述所有要求方面的能力。