对抗网络能否以合理外观幻觉出被遮挡的人？
计算机视觉与模式识别
2019-01-25 v1
摘要
当您在人群中看到一个人被其他人遮挡时，您会缺失可用于识别、再识别或简单分类他/她的视觉信息。根据您的经验您可以想象其外观，仅此而已。类似地，AI 解决方案可以尝试用特定的深度学习架构来幻觉缺失的信息，这些架构使用有遮挡和无遮挡的人进行适当训练。本工作的目标是给定输入的被遮挡版本，生成一个人的完整图像，该图像应 a) 无遮挡 b) 在像素级别类似于完全可见的人形 c) 能够保留原人物的相似视觉属性（例如男/女）。为此，我们提出一种新方法，通过集成最先进的神经网络架构（即 U-nets 和 GANs）以及判别属性分类网络，并采用专门设计用于去遮挡人形的架构。该网络被训练以优化可考虑上述目标的损失函数。我们还提出两个用于测试我们方案的数据集：第一个是 occluded RAP，通过自动遮挡 RAP 数据集（也收集人外观属性）的真实形状创建；第二个是大型合成数据集 AiC，在计算机图形学中利用从 GTA 电子游戏提取的数据生成，其按构造包含被遮挡物体的 3D 数据。结果令人印象深刻，且优于以往任何其它方案。该结果可作为在开放拥挤世界中识别人及其行为的诸多进一步研究的初步步骤。
引用
@article{arxiv.1901.08097,
title = {Can Adversarial Networks Hallucinate Occluded People With a Plausible Aspect?},
author = {Federico Fulgeri and Matteo Fabbri and Stefano Alletto and Simone Calderara and Rita Cucchiara},
journal= {arXiv preprint arXiv:1901.08097},
year = {2019}
}
备注
Under review at CVIU