SILOP：一种基于目标周长、利用图像标签进行语义分割的自动化框架
计算机视觉与模式识别
2023-08-17 v3
摘要
仅使用图像级标签即可获得高质量的语义分割预测，使现实世界中的应用达到新的水平。尽管最先进的网络能提供可靠的预测，但在许多实际应用中，为实现这些结果所需的大量手工像素级标注并不可行。因此，已有若干工作以基于分类器的网络（如类激活图 CAM）为基础来攻克这一瓶颈。针对 CAM 边界模糊与预测不完整的弱点，现有最优方法仅依赖在分类器损失上添加约束或事后基于像素相似度的细化。我们提出一种引入额外模块、利用目标周长提升显著性的框架。我们将目标周长信息定义为分隔目标与背景的界线。我们新的 PerimeterFit 模块将在使用基于像素相似度的网络之前，对 CAM 预测进行预细化。以此方式，我们的 PerimeterFit 在提升 CAM 预测质量的同时降低了假阴性率。我们调研了多种最先进的无监督语义分割网络与边缘检测技术以生成有用的周长图，使我们的框架能预测出具有更清晰周长的目标位置。相较未使用 PerimeterFit 模块的框架，我们取得了最高 1.5% 的提升。我们进行了详尽分析以表明 SILOP 增强了现有的基于图像级标签的语义分割最优框架。该框架已开源，可访问 https://github.com/ErikOstrowski/SILOP。
引用
@article{arxiv.2303.07892,
title = {SILOP: An Automated Framework for Semantic Segmentation Using Image Labels Based on Object Perimeters},
author = {Erik Ostrowski and Bharath Srinivas Prabakaran and Muhammad Shafique},
journal= {arXiv preprint arXiv:2303.07892},
year = {2023}
}
备注
Accepted for Publication at the International Joint Conference on Neural Networks (IJCNN), July 2023, Gold Coast, Queensland, Australia