自监督场景去遮挡
计算机视觉与模式识别
2020-04-07 v1
摘要
自然场景理解是一项具有挑战性的任务，特别是在遇到多个物体部分遮挡的图像时。这一障碍是由不同的物体顺序和位置引起的。现有的场景理解范式只能解析可见部分，导致不完整且非结构化的场景解释。在本文中，我们研究了场景去遮挡问题，旨在恢复潜在的遮挡顺序并补全被遮挡物体的不可见部分。我们首次尝试通过一个新颖且统一的框架来解决该问题，该框架无需将顺序和非模态标注作为监督即可恢复隐藏的场景结构。这是通过 Partial Completion Network (PCNet)-mask (M) 和 -content (C) 实现的，它们分别以自监督的方式学习恢复物体掩码和内容的碎片。基于 PCNet-M 和 PCNet-C，我们设计了一种新颖的推理方案，通过渐进式顺序恢复、非模态补全和内容补全来实现场景去遮挡。在真实世界场景上的大量实验表明，我们的方法优于其他替代方案。值得注意的是，我们以自监督方式训练的方法取得了与全监督方法相当的结果。所提出的场景去遮挡框架有益于许多应用，包括高质量和可控的图像操作与场景重组（见图 1），以及将现有的模态掩码标注转换为非模态掩码标注。
引用
@article{arxiv.2004.02788,
title = {Self-Supervised Scene De-occlusion},
author = {Xiaohang Zhan and Xingang Pan and Bo Dai and Ziwei Liu and Dahua Lin and Chen Change Loy},
journal= {arXiv preprint arXiv:2004.02788},
year = {2020}
}
备注
Accepted to CVPR 2020 as oral. Project page: https://xiaohangzhan.github.io/projects/deocclusion/