CFNet：为单阶段全景分割学习相关函数
计算机视觉与模式识别
2022-01-14 v1
摘要
近来，单阶段全景分割方法日益受到关注，其旨在以全卷积流程高效地联合分割实例与背景素材（stuff）。然而，现有多数工作直接将骨干网络特征送入不同分割头，忽略了语义分割与实例分割的需求不同：前者需要语义级判别性特征，而后者要求特征在实例间可区分。为缓解此问题，我们提出先预测不同位置间的语义级与实例级相关性以增强骨干特征，再将改进后的判别性特征分别送入对应分割头。具体而言，我们将给定位置与所有位置间的相关性组织为连续序列并整体预测。考虑到此类序列可能极为复杂，我们采用离散傅里叶变换（DFT）——一种可用振幅与相位参数化逼近任意序列的工具。对于不同任务，我们以全卷积方式从骨干特征生成这些参数，并由相应任务隐式优化。因此，这些准确且一致的相关性有助于产生满足复杂全景分割任务要求的合理判别性特征。为验证方法有效性，我们在多个具挑战性的全景分割数据集上实验，并在 MS COCO 上以 \% PQ、在 ADE20k 上以 \% PQ 取得最先进性能。
引用
@article{arxiv.2201.04796,
title = {CFNet: Learning Correlation Functions for One-Stage Panoptic Segmentation},
author = {Yifeng Chen and Wenqing Chu and Fangfang Wang and Ying Tai and Ran Yi and Zhenye Gan and Liang Yao and Chengjie Wang and Xi Li},
journal= {arXiv preprint arXiv:2201.04796},
year = {2022}
}
备注
Tech report