IC-Portrait：基于上下文匹配的视图一致个性化肖像

现有扩散模型在保持身份方面显示出巨大的潜力。然而，由于用户轮廓的多样性（包括外观和光照条件的变化），个性化肖像生成仍然具有挑战性。为此，我们提出IC-Portrait，一个 novel 框架，用于准确编码 individual 身份以实现个性化肖像生成。我们的关键洞察是，预训练的扩散模型是快速学习者（例如100 ~ 200 步）for in-context 稠密对应匹配，这激励了我们IC-Portrait框架的两个主要设计。具体而言，我们将肖像生成重新定义为两个子任务：1）光照感知拼接：我们发现，masking 80%的输入图像可高度有效地实现 reference 图像光照的自监督表示学习。2）视图一致适应：我们利用合成的视图一致性 profile 数据集学习 in-context 对应。reference profile随后可被warp成任意姿态，以实现强空间对齐的视图条件。通过简单地将 latents 拼接以形成类似ControlNet的监督和建模，使我们能够显著提升身份保持保真度和稳定性。广泛的评估表明，IC-Portrait在定量和定性方面 consistently 超过现有 state-of-the-art 方法，尤其在视觉质量方面取得显著改进。此外，IC-Portrait甚至展示了3D感知relighting能力。