像素竞争：一种用于弱监督分割的自博弈算法
计算机视觉与模式识别
2024-05-28 v1 机器学习
摘要
弱监督分割（WSS）方法依赖于指示物体存在的图像级标签，缺乏标签与感兴趣区域（ROI）之间的显式对应关系，这构成了重大挑战。尽管如此，由于与全监督分割相比，WSS方法的标注成本低得多，因此引起了关注。利用强化学习（RL）自博弈，我们提出了一种新颖的WSS方法，将ROI的图像分割游戏化。我们将分割表述为两个智能体之间的竞争，它们竞争选择包含ROI的图块，直到所有此类图块耗尽。每个时间步的得分用于计算智能体训练的奖励，该得分表示选择内物体存在的可能性，由仅使用物体存在的图像级二分类标签预训练的物体存在检测器确定。此外，我们提出了一个游戏终止条件，任何一方在耗尽所有包含ROI的图块后均可调用该条件，随后从每一方选择最后一个图块。终止时，如果包含ROI的图块被耗尽，则激励智能体；如果竞争对手找到了包含ROI的图块，则抑制智能体。这种竞争性设置确保了过度分割或欠分割的最小化，这是WSS方法的常见问题。在四个数据集上的广泛实验表明，与最近的最先进方法相比，性能有显著提升。代码：https://github.com/s-sd/spurl/tree/main/wss
引用
@article{arxiv.2405.16628,
title = {Competing for pixels: a self-play algorithm for weakly-supervised segmentation},
author = {Shaheer U. Saeed and Shiqi Huang and João Ramalhinho and Iani J. M. B. Gayo and Nina Montaña-Brown and Ester Bonmati and Stephen P. Pereira and Brian Davidson and Dean C. Barratt and Matthew J. Clarkson and Yipeng Hu},
journal= {arXiv preprint arXiv:2405.16628},
year = {2024}
}