提示与迁移：面向少样本分割的动态类感知增强
计算机视觉与模式识别
2024-09-17 v1
摘要
为了更高效地泛化到未见领域（类别），大多数少样本分割（FSS）方法会直接利用预训练编码器并仅微调解码器，尤其是在当前的大模型时代。然而，这种固定的特征编码器往往与类别无关，不可避免地会激活与目标类别无关的物体。相比之下，人类可以毫不费力地聚焦于视线范围内的特定物体。本文模仿人类的视觉感知模式，提出了一种新颖且强大的提示驱动方案，称为“提示与迁移”（PAT），该方案构建了一种动态类感知提示范式，以调整编码器使其聚焦于当前任务中感兴趣的目标类别物体。为了增强提示效果，本文详细阐述了三个关键点：1）引入跨模态语言信息来为每个任务初始化提示；2）语义提示迁移（SPT），将图像内的特定类别语义精确地迁移到提示中；3）部件掩码生成器（PMG），与 SPT 协同工作，为不同个体自适应地生成不同但互补的部件提示。令人惊讶的是，PAT 在 4 个不同的任务上取得了极具竞争力的性能，包括标准 FSS、跨领域 FSS（如计算机视觉、医学和遥感领域）、弱标签 FSS 和零样本分割，在 11 个基准上创造了新的 SOTA。
引用
@article{arxiv.2409.10389,
title = {Prompt-and-Transfer: Dynamic Class-aware Enhancement for Few-shot Segmentation},
author = {Hanbo Bi and Yingchao Feng and Wenhui Diao and Peijin Wang and Yongqiang Mao and Kun Fu and Hongqi Wang and Xian Sun},
journal= {arXiv preprint arXiv:2409.10389},
year = {2024}
}