IFSENet：利用稀疏迭代实现卓越的交互式小样本分割
计算机视觉与模式识别
2024-03-25 v1
摘要
训练计算机视觉系统分割一个新类别通常需要收集并费力标注大量包含该类物体的图像。小样本分割技术减少了学习分割新类别所需的图像数量，但仍需仔细标注物体边界。另一方面，交互式分割技术仅专注于以类别无关的方式逐步改进单个物体的分割（通常使用专家提供的点击）。我们将这两个概念结合起来，以大幅减少训练新类别分割模型所需的工作量。我们提出 IFSENet，它并非简单地将交互式分割掩码作为真实标注输入小样本分割模型，而是能够接受在单张或少量支持图像上的稀疏监督（以点击的形式），从而在支持图像（训练用，至少被点击过一次）和查询图像（测试用，从未被点击过）上生成掩码。为了在精度和工作量之间灵活权衡，可以逐步增加支持集中的图像数量和点击次数，以进一步改善支持图像和查询图像的分割效果。在 Pascal 和 SBD 数据集上的查询图像测试中，所提模型以显著更低的标注工作量（点击而非掩码）接近了先前最先进的小样本分割模型的精度。在支持图像上，它同样是一种有效的交互式分割方法。
引用
@article{arxiv.2403.15089,
title = {IFSENet : Harnessing Sparse Iterations for Interactive Few-shot Segmentation Excellence},
author = {Shreyas Chandgothia and Ardhendu Sekhar and Amit Sethi},
journal= {arXiv preprint arXiv:2403.15089},
year = {2024}
}