Label Anything：基于视觉提示的多类少样本语义分割

少样本语义分割旨在使用有限的标注示例对先前未见的类别进行分割。本文介绍了 Label Anything，一种新颖的基于Transformer的架构，专为多提示、多路少样本语义分割设计。我们的方法利用多样化的视觉提示（点、边界框和掩码）构建了一个高度灵活且可泛化的框架，在显著降低标注负担的同时保持高准确率。Label Anything 作出了三项关键贡献：（$\textit{i}$）我们引入了一种新的任务 formulation，通过支持各种类型的提示、多类别分类以及在单个图像中允许多个提示，放宽了传统少样本分割的约束；（$\textit{ii}$）我们提出了一种基于Transformer和注意力机制的新架构；（$\textit{iii}$）我们设计了一个 versatile 的训练程序，使我们的模型能够无缝地适应不同的 $N$ way $K$ shot 和提示类型配置。我们在广泛使用的 COCO-$20^i$ 基准上的大量实验评估表明，Label Anything 在现有多路少样本分割方法中实现了最先进的性能，而在多类别设置下也显著优于领先的单类别模型。代码和训练好的模型可在 https://github.com/pasqualedem/LabelAnything 获取。