用于少样本语义分割的原型混合模型
计算机视觉与模式识别
2020-09-02 v2
摘要
少样本分割具有挑战性，因为支持图像与查询图像中的物体可能在外观和姿态上差异显著。使用从支持图像直接获取的单一原型来分割查询图像会导致语义歧义。本文提出原型混合模型（PMMs），其将多样图像区域与多个原型相关联，以强化基于原型的语义表示。PMMs 通过期望最大化算法估计，从有限的支持图像中融入丰富的通道维与空间语义。PMMs 兼作表示与分类器，以双路方式充分利用语义激活查询图像中的物体并抑制背景区域。在 Pascal VOC 和 MS-COCO 数据集上的大量实验表明，PMMs 显著优于 SOTA 方法。特别地，PMMs 在 MS-COCO 上将 5-shot 分割性能提升高达 5.82%，且仅带来模型规模与推理速度的适度开销。
引用
@article{arxiv.2008.03898,
title = {Prototype Mixture Models for Few-shot Semantic Segmentation},
author = {Boyu Yang and Chang Liu and Bohao Li and Jianbin Jiao and Qixiang Ye},
journal= {arXiv preprint arXiv:2008.03898},
year = {2020}
}