用于交互式图像分割的序列提示转换器
计算机视觉与模式识别
2024-12-16 v1
摘要
交互式分割旨在基于用户提供的点击信息从图像中提取感兴趣的对象。在实际应用中，往往需要分割一系列特征相同目标对象的图像。然而，现有方法通常逐个处理图像，未能考虑图像的序列性。为克服这一限制，我们提出了一种新方法，即序列提示转换器 (Sequence Prompt Transformer, SPT)，首次利用序列图像信息进行交互式分割。我们的模型包含两个关键组件：(1) 序列提示转换器 (SPT) 用于获取来自图像序列、点击和掩码的信息，以提高准确性；(2) Top-k 提示选择 (TPS) 用于为 SPT 选择精确提示，从而进一步提升分割效果。此外，我们创建了 ADE20K-Seq 数据集以更好地评估模型性能。在多个基准数据集上进行评估，我们的方法在所有数据集上均超越了最先进的方法。
引用
@article{arxiv.2412.10224,
title = {SPT: Sequence Prompt Transformer for Interactive Image Segmentation},
author = {Senlin Cheng and Haopeng Sun},
journal= {arXiv preprint arXiv:2412.10224},
year = {2024}
}