用于少样本分割的密集高斯过程
计算机视觉与模式识别
2022-09-01 v2
摘要
少样本分割是一项具有挑战性的密集预测任务，其目标是在仅给定小型标注支持集的情况下分割新颖的查询图像。因此关键问题是设计一种能从支持集聚合详细信息，同时对外观和上下文的大幅变化保持鲁棒的方法。为此，我们提出了一种基于密集高斯过程 (GP) 回归的少样本分割方法。给定支持集，我们的密集 GP 学习从局部深度图像特征到掩码值的映射，能够捕捉复杂的外观分布。此外，它提供了一种捕获不确定性的原则性手段，该不确定性作为由 CNN 解码器获得的最终分割的另一强大线索。除一维掩码输出外，我们进一步利用我们方法的端到端学习能力为 GP 学习高维输出空间。我们的方法在 PASCAL-5 和 COCO-20 基准上确立了新的 state-of-the-art，在 COCO-20 5-shot 设定下实现了 mIoU 的绝对提升。此外，当增加支持集大小时，我们方法的分割质量平稳提升，同时实现了鲁棒的跨数据集迁移。代码和训练模型可在 \url{https://github.com/joakimjohnander/dgpnet} 获取。
引用
@article{arxiv.2110.03674,
title = {Dense Gaussian Processes for Few-Shot Segmentation},
author = {Joakim Johnander and Johan Edstedt and Michael Felsberg and Fahad Shahbaz Khan and Martin Danelljan},
journal= {arXiv preprint arXiv:2110.03674},
year = {2022}
}