Show and Polish：基于参考图的面部视频修复中的身份保持

面部视频修复（FVR）旨在从受损版本中恢复高质量的面部视频。传统方法在恶化程度较大时难以保留细粒度、身份相关特征，常产生缺乏个体特征的平均面。为此，我们提出了 IP-FVR 方法，利用高质量参考面部图像作为视觉提示，在去噪过程中提供身份条件。IP-FVR 通过解耦的跨注意力机制整合参考图像中语义丰富的身份信息，确保结果细节丰富且身份一致。针对同一 clip（24 帧内）的身份漂移，我们引入基于余弦相似度的奖励信号结合后缀加权的时间聚合的身份保持反馈学习方法。该方法有效最小化序列内帧的漂移。针对跨 clip 的身份漂移，我们开发指数混合策略，通过在去噪过程中迭代混合前一个 clip 的帧来实现身份间的对齐。这种方法确保不同 clip 之间身份表征的一致性。此外，我们引入多流负面提示，引导模型关注相关面部属性，最小化低质量或错误特征的生成。大量在合成数据集和真实世界数据集上的实验表明，IP-FVR 在质量和身份保持方面均优于现有方法，展示了其在实际应用中巨大的潜力。