面向少样本语义分割的动态原型卷积网络
计算机视觉与模式识别
2022-04-25 v1
摘要
少样本语义分割(FSS)的关键挑战在于如何在情景训练(episodic training)场景下，在支持集与查询集特征及/或其原型之间建立理想的交互。现有多数 FSS 方法仅借助朴素操作(如余弦相似度与特征拼接)来实现此类支持-查询交互以分割查询对象。然而，这些交互方式通常难以很好地捕捉 FSS 中广泛存在的查询图像内在物体细节，例如当待分割查询物体含有孔洞与缝隙时，几乎总会发生不准确的分割。为此，我们提出动态原型卷积网络(DPCN)，以充分捕捉上述内在细节从而实现精准 FSS。具体而言，DPCN 中首先提出动态卷积模块(DCM)，由支持集前景生成动态卷积核，随后利用这些核在查询特征上执行卷积操作以实现信息交互。此外，我们为 DPCN 配备支持激活模块(SAM)与特征过滤模块(FFM)，分别用于生成伪掩码并过滤查询图像的背景信息。SAM 与 FFM 协同可从查询特征中挖掘丰富的上下文信息。我们的 DPCN 在 k-shot FSS 设定下同样灵活高效。在 PASCAL-5i 与 COCO-20i 上的大量实验表明，DPCN 在 1-shot 与 5-shot 设定下均取得优越性能。
引用
@article{arxiv.2204.10638,
title = {Dynamic Prototype Convolution Network for Few-Shot Semantic Segmentation},
author = {Jie Liu and Yanqi Bao and Guo-Sen Xie and Huan Xiong and Jan-Jakob Sonke and Efstratios Gavves},
journal= {arXiv preprint arXiv:2204.10638},
year = {2022}
}
备注
Accepted in CVPR2022. Code will be available soon