全景边缘检测
计算机视觉与模式识别
2019-06-04 v1
摘要
面向真实视觉应用追求更完整、更连贯的场景理解，推动边缘检测从类别无关走向类别感知的语义层级。然而，实例级边界的更精细描绘仍未被发掘。本文提出一项更细粒度的新任务，称为全景边缘检测（PED），旨在为 stuff 类别预测语义级边界、为 instance 类别预测实例级边界，以从边缘视角提供更全面统一的场景理解。我们随后提出一个通用框架——全景边缘网络（PEN），将目标检测、语义与实例边缘检测等不同任务聚合为具有多分支的单一整体网络。基于同一特征表示，语义边缘分支为所有类别生成语义级边界，目标检测分支生成实例提议。以这两分支的先验信息为条件，实例边缘分支旨在为 instance 类别实例化边缘预测。此外，我们还为新 PED 任务设计了一种全景双重 F 度量（F2）指标，以统一度量 stuff 与 instances 的边缘预测质量。通过联合端到端训练，所提 PEN 框架在 Cityscapes 与 ADE20K 数据集上优于所有竞争基线。
引用
@article{arxiv.1906.00590,
title = {Panoptic Edge Detection},
author = {Yuan Hu and Yingtian Zou and Jiashi Feng},
journal= {arXiv preprint arXiv:1906.00590},
year = {2019}
}