面向少样本分割的先验引导特征增强网络
计算机视觉与模式识别
2020-08-05 v1
摘要
最先进的语义分割方法需要充足的标注数据才能取得良好结果，且在不进行微调时难以作用于未见类。为此，少样本分割被提出以通过学习一个用少量标注支持样本快速适应新类别的模型来解决该问题。这些框架仍面临因不当使用训练类别的高层语义信息以及查询与支持目标间空间不一致而导致的未见类泛化能力下降的挑战。为缓解这些问题，我们提出了先验引导特征增强网络（PFENet）。它由以下新颖设计组成：（1）一种无训练的先验掩码生成方法，既保留泛化能力又提升模型性能；（2）特征增强模块（FEM），通过用支持特征和先验掩码自适应地增强查询特征来克服空间不一致。在 PASCAL-5 和 COCO 上的大量实验证明，所提出的先验生成方法与 FEM 均显著改进了基线方法。我们的 PFENet 也在不损失效率的情况下大幅优于最先进方法。令人惊讶的是，我们的模型甚至能泛化到无标注支持样本的情况。我们的代码见 https://github.com/Jia-Research-Lab/PFENet/。
关键词
引用
@article{arxiv.2008.01449,
title = {Prior Guided Feature Enrichment Network for Few-Shot Segmentation},
author = {Zhuotao Tian and Hengshuang Zhao and Michelle Shu and Zhicheng Yang and Ruiyu Li and Jiaya Jia},
journal= {arXiv preprint arXiv:2008.01449},
year = {2020}
}
备注
16 pages. To appear in TPAMI