面向鲁棒盲脸复原的码本查找 Transformer

盲脸复原是一个高度病态的问题，通常需要辅助引导以 1) 改善从退化输入到期望输出的映射，或 2) 补充输入中丢失的高质量细节。在本文中，我们证明在小型代理空间中学习的离散码本先验通过将盲脸复原视为码预测任务，大幅降低了复原映射的不确定性与歧义性，同时为生成高质量人脸提供了丰富的视觉原子。在此范式下，我们提出了一种基于 Transformer 的预测网络，名为 CodeFormer，以建模低质量人脸的全局组合与上下文用于码预测，使得即使在输入严重退化时也能发现接近目标人脸的自然人脸。为增强对不同退化的自适应性，我们还提出了一种可控特征变换模块，允许在保真度与质量之间进行灵活权衡。得益于具表现力的码本先验与全局建模，CodeFormer 在质量与保真度上均优于当前最优方法，展现出对退化的优越鲁棒性。在合成与真实世界数据集上的大量实验结果验证了我们方法的有效性。