用于噪声人脸超分辨率的面部属性胶囊

现有人脸超分辨率（SR）方法主要假设输入图像无噪声。当应用于输入图像总受噪声污染的真实场景时，其性能急剧下降。本文提出一种面部属性胶囊网络（FACN）来处理噪声人脸图像的高倍超分辨率问题。胶囊是一组神经元，其活动向量对同一实体的不同属性建模。受胶囊概念启发，我们提出一种面部信息的集成表示模型，称为面部属性胶囊（FAC）。在 SR 处理中，我们首先从输入的低分辨率人脸生成一组 FAC，再由该组 FAC 重建高分辨率人脸。为有效提升 FAC 对噪声的鲁棒性，我们通过集成学习策略以语义、概率和面部属性方式生成 FAC。每个 FAC 可划分为两个子胶囊：语义胶囊（SC）与概率胶囊（PC）。它们从语义表示与概率分布两方面详细描述显式面部属性。该组 FAC 通过属性解耦方式将图像建模为语义空间与概率空间中面部属性信息的组合。多样的 FAC 能更好地结合人脸先验信息以生成具有细粒度语义属性的人脸图像。大量基准实验表明，我们的方法取得了优异的幻觉结果，并在极低分辨率（LR）噪声人脸图像超分辨率上优于最先进方法。