用于无提议全景分割的分层 Lovász 嵌入
计算机视觉与模式识别
2021-06-09 v1
摘要
全景分割将两项独立任务——实例分割与语义分割——结合在一起。尽管二者相关，其统一面临一个明显悖论：如何同时学习实例特定与类别特定（即实例无关）的表示。因此，当前最优的全景分割方法使用为每个任务设独立流的复杂模型。相反，我们提出分层 Lovász 嵌入，即同时编码实例级与类别级判别信息的逐像素特征向量。我们使用分层 Lovász 铰链损失来学习一个结构化入统一语义与实例层级的低维嵌入空间，无需分离的网络分支或目标提议。除以免提议方式精确建模实例外，我们的分层 Lovász 嵌入通过使用简单的 Nearest-Class-Mean 分类器泛化至类别，包括针对非实例的“stuff”类——而实例分割方法并不适用此类。我们的简单模型在 Cityscapes、COCO 与 Mapillary Vistas 上相较现有无提议全景分割方法取得了最优结果。此外，我们的模型展现出视频帧间的时间稳定性。
引用
@article{arxiv.2106.04555,
title = {Hierarchical Lov\'asz Embeddings for Proposal-free Panoptic Segmentation},
author = {Tommi Kerola and Jie Li and Atsushi Kanehira and Yasunori Kudo and Alexis Vallet and Adrien Gaidon},
journal= {arXiv preprint arXiv:2106.04555},
year = {2021}
}
备注
13 pages, 9 figures, including supplementary material. To be published in CVPR 2021