用于噪声鲁棒多尺度人脸复原的序贯门控集成网络
计算机视觉与模式识别
2019-01-01 v1
摘要
从低分辨率与噪声中复原人脸对人脸分析识别应用十分重要。然而，大多数现有人脸复原模型忽略了人脸复原问题中的多尺度问题，该问题在研究领域中仍未被很好解决。本文中，我们提出一种序贯门控集成网络（SGEN）用于多尺度噪声鲁棒人脸复原问题。为赋予网络多尺度表示能力，我们首先采用集成学习原理进行 SGEN 网络架构设计。SGEN 将多级基础编码器与基础解码器聚合进网络，使网络包含多尺度感受野。SGEN 并非以非序贯操作直接组合这些基础编/解码器，而是将不同层级的基础编/解码器视为序贯数据。具体而言，可视化显示 SGEN 学习以自底向上方式从基础编码器序贯提取高层信息，并以自顶向下方式从基础解码器复原低层信息。此外，我们提出以序贯门控单元（SGU）实现自底向上与自顶向下的信息组合与选择。SGU 序贯地将来自两个不同层级的信息作为输入，并基于一个活跃输入决定输出。在基准数据集上的实验结果表明，相较于 SOTA 图像复原模型，我们的 SGEN 在多尺度人脸复原上更有效，具有更多图像细节与更少噪声。进一步利用对抗训练方案，SGEN 在主观评价下也产生比其他模型更具视觉偏好的结果。
引用
@article{arxiv.1812.11834,
title = {Sequential Gating Ensemble Network for Noise Robust Multi-Scale Face Restoration},
author = {Zhibo Chen and Jianxin Lin and Tiankuang Zhou and Feng Wu},
journal= {arXiv preprint arXiv:1812.11834},
year = {2019}
}
备注
11 pages, 15 figures. arXiv admin note: substantial text overlap with arXiv:1805.02164