PNM：用于通用图像分割的像素零模型
计算机视觉与模式识别
2022-03-15 v1
摘要
图像分割中的一个主要挑战是对对象边界进行分类。近期工作提出用边界掩码来细化分割结果。然而，即使模型正确捕捉了对象轮廓，仍容易将边界像素误分类。在此类情况下，即便是完美的边界图也无助于分割细化。本文认为，为易错像素（如对象边界）分配适当的先验权重可显著提升分割质量。具体而言，我们提出像素零模型（PNM），一种根据每个像素被随机分割器正确分类的概率为其赋权的先验模型。实证分析表明，PNM 捕捉了不同 SOTA 分割器的误分类分布。在 Cityscapes、ADE20K、MS COCO 三个数据集上的语义、实例与全景分割任务的广泛实验证实，PNM 一致地改善了大多数 SOTA 方法（包括视觉 transformer）的分割质量，并大幅优于基于边界的方法。我们还观察到广泛使用的平均 IoU（mIoU）度量对不同锐度的边界不敏感。作为副产品，我们提出一个新度量 PNM IoU，其能感知边界锐度并更好地反映模型在易错区域的分割性能。
引用
@article{arxiv.2203.06677,
title = {PNM: Pixel Null Model for General Image Segmentation},
author = {Han Zhang and Zihao Zhang and Wenhao Zheng and Wei Xu},
journal= {arXiv preprint arXiv:2203.06677},
year = {2022}
}