简洁至上：基于分类器权重 Transformer 的小样本语义分割
计算机视觉与模式识别
2021-08-13 v3
摘要
一个小样本语义分割模型通常由 CNN 编码器、CNN 解码器以及一个简单分类器（区分前景与背景像素）组成。大多数现有方法对全部三个模型组件进行元学习，以实现对新类的快速适配。然而，在仅提供单张支持集图像的情况下，使全部三个组件有效适配新类极为困难。本工作中，我们提出通过仅聚焦于最简组件即分类器来简化元学习任务，而将编码器与解码器留给预训练。我们假设，若在一组具有充足标注的多样化训练类上预训练一个现成的分割模型，编码器与解码器能够捕捉适用于任意未见类的丰富判别性特征，从而使得后续元学习阶段不再必要。对于分类器元学习，我们引入了分类器权重 Transformer（CWT），旨在以归纳方式将支持集训练所得分类器的权重动态适配至每张查询图像。在两个标准基准上的大量实验表明，尽管方法简单，其性能仍优于当前最优替代方案，且常大幅领先。代码见 https://github.com/zhiheLu/CWT-for-FSS。
引用
@article{arxiv.2108.03032,
title = {Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer},
author = {Zhihe Lu and Sen He and Xiatian Zhu and Li Zhang and Yi-Zhe Song and Tao Xiang},
journal= {arXiv preprint arXiv:2108.03032},
year = {2021}
}
备注
Accepted by ICCV2021. Code website:https://github.com/zhiheLu/CWT-for-FSS