带奖励的语义分割
计算机视觉与模式识别
2025-05-26 v1
摘要
在现实场景中，像素级标注并非总是可用。有时我们需要一个语义分割网络，甚至一个视觉编码器也可以具有很高的兼容性，并且可以使用多种类型的反馈进行训练，而不仅仅是传统标签，例如指示解析结果质量的反馈。为解决这一问题，我们提出了 RSS（Reward in Semantic Segmentation），这是首次在纯语义分割中应用基于奖励的强化学习，提供两个粒度级别（像素级和图像级）。RSS 包含了多种新技术，如渐进尺度奖励（PSR）和逐对空间差异（PSD），以确保奖励能够促进语义分割网络的收敛，尤其是在图像级奖励下。在基准数据集上的实验和可视化表明，所提出的 RSS 能够成功确保语义分割网络在两个奖励级别上的收敛。此外，利用图像级奖励的 RSS 在训练期间优于同样仅依赖图像级信号的最弱监督方法。
引用
@article{arxiv.2505.17905,
title = {Semantic segmentation with reward},
author = {Xie Ting and Ye Huang and Zhilin Liu and Lixin Duan},
journal= {arXiv preprint arXiv:2505.17905},
year = {2025}
}
备注
Tech report