缺失数据编码器：基于 Hide-And-Seek 对抗网络的交叉通道图像补全
计算机视觉与模式识别
2019-05-07 v1
摘要
图像补全是从仅有的图像碎片生成完整图像的问题。它包含修复（给定周围生成一块补丁）、反向修复/外推（给定中心补丁生成外围）以及着色（给定其他通道生成一个或数个通道）。本文中，我们采用深度网络进行图像补全，使用对抗训练以及感知和补全损失，并称其为“缺失数据编码器”（MDE）。我们考虑了基于种子碎片选取方式的若干配置。我们表明，训练 MDE 进行“随机外推与着色”（MDE-REC），即使用随机通道无关碎片，能更好地捕捉图像语义与几何结构。MDE 训练利用一种新颖的“hide-and-seek”对抗损失，其中判别器寻找原始非掩码区域，而生成器试图隐藏它们。我们在多个数据集上从定性和定量两方面验证我们的模型，展示了它们在图像补全、无监督表示学习以及人脸遮挡处理方面的价值。
引用
@article{arxiv.1905.01861,
title = {The Missing Data Encoder: Cross-Channel Image Completion\\with Hide-And-Seek Adversarial Network},
author = {Arnaud Dapogny and Matthieu Cord and Patrick Perez},
journal= {arXiv preprint arXiv:1905.01861},
year = {2019}
}