并非所有像素等同：面向语义分割的像素难度学习
计算机视觉与模式识别
2023-05-16 v1 人工智能
摘要
语义分割近期取得巨大进展。尽管整体结果令人印象深刻，某些困难区域（如小物体或细长部件）的分割性能仍不理想。一种直接方案是难样本挖掘，广泛用于目标检测。然而，现有多数语义分割的难像素挖掘策略常依赖像素损失值，而该值在训练中趋于下降。直观上，分割的像素难度主要取决于图像结构，预期是稳定的。本文提出学习语义分割的像素难度，利用全局与历史损失值中所含难度信息。更精确地，我们增加一个独立于梯度的分支，通过最大化难度加权的分割损失来学习难度等级（HL）图，而该损失对分割头被最小化。这促使困难区域具较大难度值，从而得到恰当且稳定的 HL 图。尽管简单，所提方法可应用于多数分割方法，推理与训练时分别无额外与仅微少额外开销。无需繁冗技巧，所提方法在 Cityscapes 数据集上相较最流行语义分割方法取得一致/显著改进（平均 1.37% mIoU），并展现跨域良好泛化能力。源代码见 https://github.com/Menoly-xin/Hardness-Level-Learning 。
引用
@article{arxiv.2305.08462,
title = {Not All Pixels Are Equal: Learning Pixel Hardness for Semantic Segmentation},
author = {Xin Xiao and Daiguo Zhou and Jiagao Hu and Yi Hu and Yongchao Xu},
journal= {arXiv preprint arXiv:2305.08462},
year = {2023}
}