VQFR：基于矢量量化字典与并行解码器的盲脸复原

尽管生成式人脸先验与几何先验近期在盲脸复原中展现出高质量结果，但生成忠实于输入的细粒度人脸细节仍是一个具有挑战性的问题。受经典基于字典的方法与近期矢量量化（VQ）技术启发，我们提出一种基于 VQ 的人脸复原方法——VQFR。VQFR 利用从高质量人脸中提取的高质量低级特征库，从而有助于恢复逼真的人脸细节。然而，简单应用 VQ 码本无法在忠实细节与身份保持上取得良好效果。因此，我们进一步引入两种特殊的网络设计。1). 我们首先探究 VQ 码本中的压缩块大小，发现设计恰当压缩块大小的 VQ 码本对平衡质量与保真度至关重要。2). 为了进一步融合来自输入的低级特征，同时不“污染”由 VQ 码本生成的逼真细节，我们提出了由纹理解码器与主解码器构成的并行解码器。这两个解码器随后通过带可变形卷积的纹理扭曲模块进行交互。借助作为人脸细节字典的 VQ 码本与并行解码器设计，所提出的 VQFR 能在保持对先前方法保真度的同时大幅提升人脸细节的复原质量。