基于嵌入自适应更新与超类表示的增量少样本语义分割
计算机视觉与模式识别
2022-10-13 v1
摘要
增量少样本语义分割（IFSS）旨在逐步扩展模型能力，以仅由少量样本监督分割新类别图像。然而，在旧类上学习的特征可能显著漂移，导致灾难性遗忘。此外，新类上用于像素级分割的少量样本在每个学习会话中引发严重的过拟合问题。本文中，我们将语义分割的基于类的知识显式表示为类别嵌入与超类嵌入，前者描述排他性语义属性，后者将超类知识表达为类共享语义属性。为解决 IFSS 问题，我们从两方面提出 EHNet，即嵌入自适应更新与超类表示网络。首先，我们提出一种嵌入自适应更新策略以避免特征漂移，其通过超类表示维持旧知识，并以类注意力方案自适应更新类别嵌入以纳入各会话中学习的新类。其次，为抵御少量训练样本引起的过拟合问题，通过聚类所有类别嵌入进行初始化来学习超类嵌入，并与新类的类别嵌入对齐以增强，其中习得知识协助学习新知识，从而缓解对训练数据规模的性能依赖。显著地，这两种设计为由充足语义与有限偏置的类提供了表示能力，使其能够执行高语义依赖的分割任务。在 PASCAL-5i 与 COCO 数据集上的实验表明，EHNet 以显著优势取得新 state-of-the-art 性能。
引用
@article{arxiv.2207.12964,
title = {Incremental Few-Shot Semantic Segmentation via Embedding Adaptive-Update and Hyper-class Representation},
author = {Guangchen Shi and Yirui Wu and Jun Liu and Shaohua Wan and Wenhai Wang and Tong Lu},
journal= {arXiv preprint arXiv:2207.12964},
year = {2022}
}