分割、选择、纠正：一种弱监督指称分割框架
计算机视觉与模式识别
2024-08-21 v3 机器学习
摘要
指称图像分割（RIS）——通过自然语言句子识别图像中物体——是一项具有挑战性的任务，目前主要通过监督学习解决。然而，收集指称标注掩码是一个耗时的过程，而现有少数弱监督与零样本方法在性能上明显落后于全监督学习方法。为在无掩码标注情况下弥合性能差距，我们提出一种新颖的弱监督框架，将RIS分解为三步：获取指称指令中所提物体的实例掩码（分割），使用零样本学习为给定指令选择一个潜在正确的掩码（选择），以及引导一个可修正零样本选择错误的模型（纠正）。在我们的实验中，仅使用前两步（零样本分割与选择）便以高达16.5%的优势超越其他零样本基线，而我们的完整方法在该更强基线上进一步提升，并确立了弱监督RIS的新SOTA，在某些情况下将弱监督与全监督方法间的差距从约33%缩小至仅7%。代码见 https://github.com/fgirbal/segment-select-correct。
引用
@article{arxiv.2310.13479,
title = {Segment, Select, Correct: A Framework for Weakly-Supervised Referring Segmentation},
author = {Francisco Eiras and Kemal Oksuz and Adel Bibi and Philip H. S. Torr and Puneet K. Dokania},
journal= {arXiv preprint arXiv:2310.13479},
year = {2024}
}
备注
Accepted to ECCV'24 Workshop Proceedings (Instance-Level Recognition Workshop)