INT：面向任务通用可分割的实例特定负采样
计算机视觉与模式识别
2025-02-03 v1
摘要
任务通用可提示图像分割旨在通过利用单一任务通用提示，实现对多样化样本的分割。当前方法利用视觉语言模型 (VLM) 的泛化能力，从这些任务通用提示推断出实例特定的提示，以引导分割过程。然而，当 VLM 难以泛化到某些图像实例时，预测实例特定的提示质量较差。为解决此问题，我们引入实例特定负采样以实现任务通用可提示分割 (INT)。INT 的核心思想是通过负采样适应性地减少无关 (负) 先验知识的影响，同时增加使用由负采样选择的更合理先验知识，以提高实例特定提示生成的质量。具体而言，INT 包含两个组件：(1) 实例特定提示生成，该过程逐步过滤提示生成中的不正确信息；(2) 语义掩码生成，该过程确保每个图像实例的分割正确匹配实例特定提示的语义。INT 在包括伪装对象和医学图像等六个数据集上进行验证，显示其在有效性、鲁健性和可扩展性方面均表现出色。
引用
@article{arxiv.2501.18753,
title = {INT: Instance-Specific Negative Mining for Task-Generic Promptable Segmentation},
author = {Jian Hu and Zixu Cheng and Shaogang Gong},
journal= {arXiv preprint arXiv:2501.18753},
year = {2025}
}
备注
A new task-generic promptable segmentation approach