面向广义少样本语义分割的原型核学习与开放集前景感知
计算机视觉与模式识别
2023-08-22 v3 人工智能
摘要
广义少样本语义分割（GFSS）将少样本语义分割（FSS）扩展为在评估时同时分割未见类和已见类。先前工作利用额外分支或原型聚合来消除 FSS 的受限设定。然而，表征分裂与嵌入偏置严重导致 GFSS 性能不佳，却尚未被综合考量。我们通过联合原型核学习与开放集前景感知来解决上述问题。具体而言，提出一组可学习的核来执行分割，每个核负责一个物体类。接着，我们探索将原型学习合并到基类的核更新中，这与少样本新类的原型知识聚合相一致。此外，采用前景上下文感知模块与基于条件偏置的推理协作，执行类无关及开放集前景检测，从而缓解嵌入偏置并防止新目标被误分类为背景。而且，我们还将方法调整至类增量少样本语义分割（CIFSS），其以增量流的方式获取新类知识。在 PASCAL-5i 和 COCO-20i 数据集上的大量实验表明，我们的方法优于先前的最先进方法。
引用
@article{arxiv.2308.04952,
title = {Prototypical Kernel Learning and Open-set Foreground Perception for Generalized Few-shot Semantic Segmentation},
author = {Kai Huang and Feigege Wang and Ye Xi and Yutao Gao},
journal= {arXiv preprint arXiv:2308.04952},
year = {2023}
}
备注
Accepted by ICCV2023