基于伪标注与知识蒸馏的小样本类增量语义分割
计算机视觉与模式识别
2023-08-08 v1
摘要
我们解决了从少量样本中学习语义分割模型新类的问题，该问题具有挑战性，原因如下两点。首先，难以从有限的 novel 数据中学习以捕捉潜在的类分布。其次，保留已有类的知识并避免灾难性遗忘颇具挑战。针对有限数据学习，我们提出一种伪标注策略以增强小样本训练标注，从而更有效地学习新类。给定仅一张或少数标注了新类的图像以及大得多的未标注图像集，我们通过由粗到细的两步伪标注方法将知识从标注图像迁移至未标注图像。具体而言，我们首先在场景层将每张标注图像与未标注图像集中最近邻进行匹配，以获得具有相似场景布局的图像；随后，通过应用于小样本标注上训练的分类器在该邻域内获取伪标签。此外，我们在标注与未标注数据上使用知识蒸馏以保留已有类的知识。我们将上述步骤整合进单一卷积神经网络并采用统一学习目标。在 Cityscapes 和 KITTI 数据集上的大量实验验证了所提方法在自动驾驶领域的有效性。代码见 https://github.com/ChasonJiang/FSCILSS。
引用
@article{arxiv.2308.02790,
title = {Few-shot Class-Incremental Semantic Segmentation via Pseudo-Labeling and Knowledge Distillation},
author = {Chengjia Jiang and Tao Wang and Sien Li and Jinyang Wang and Shirui Wang and Antonios Antoniou},
journal= {arXiv preprint arXiv:2308.02790},
year = {2023}
}
备注
Paper accepted by 4th International Conference on Information Science, Parallel and Distributed Systems (ISPDS 2023)