面向单样本图像语义分割的语义有意义类原型学习
计算机视觉与模式识别
2021-02-23 v1 多媒体
摘要
单样本图像语义分割旨在仅利用一张标注图像对新颖类别的对象区域进行分割。近期工作采用情景训练策略以模拟测试时的预期情形。然而，这些现有方法在训练过程中过于严格地模拟测试条件，因而无法充分利用给定的标签信息。此外，这些方法主要关注前景-背景目标类分割设定，仅使用二值掩码标签进行训练。本文提出在情景训练中利用多类标签信息，这将鼓励网络为每一类别生成更具语义意义的特征。在将目标类线索整合进查询特征后，我们提出一个金字塔特征融合模块来挖掘融合特征以供最终分类器使用。进一步，为更充分利用支持图像-掩码对，我们提出一个自原型引导分支以支持图像分割，其可约束网络生成更紧凑的特征及每个语义类鲁棒的原型。推理时，我们提出一个融合原型引导分支用于查询图像分割：具体地说，我们利用查询图像的预测提取伪原型并与初始原型结合，随后利用融合原型引导查询图像的最终分割。大量实验证明了我们所提方法的优越性。
引用
@article{arxiv.2102.10935,
title = {Semantically Meaningful Class Prototype Learning for One-Shot Image Semantic Segmentation},
author = {Tao Chen and Guosen Xie and Yazhou Yao and Qiong Wang and Fumin Shen and Zhenmin Tang and Jian Zhang},
journal= {arXiv preprint arXiv:2102.10935},
year = {2021}
}