用于少样本分割的查询引导原型进化网络
计算机视觉与模式识别
2024-12-10 v2
摘要
以往的少样本分割（FSS）方法仅利用支持特征进行原型生成，忽略了查询的具体需求。为了解决这个问题，我们提出了查询引导原型进化网络（QPENet），这是一种将查询特征整合到前景和背景原型生成过程中的新方法，从而产生适应特定查询的定制化原型。前景原型的进化是通过涉及两个新模块的 \textit{support-query-support} 迭代过程完成的：伪原型生成（PPG）和双原型进化（DPE）。PPG 模块利用支持特征为查询图像的初步分割创建初始原型，从而产生反映当前查询独特需求的伪原型。随后，DPE 模块使用该伪原型对支持图像执行反向分割，生成可视为定制解决方案的进化原型。对于背景原型，进化从一个代表所有训练图像泛化特征的全局背景原型开始。我们还设计了一个全局背景清洗（GBC）模块，以消除反映当前前景类特征的潜在不利成分。在 PASCAL- 和 COCO- 数据集上的实验结果证明了 QPENet 相对于现有最先进技术的显著提升，突显了我们想法的有效性。
引用
@article{arxiv.2403.06488,
title = {Query-guided Prototype Evolution Network for Few-Shot Segmentation},
author = {Runmin Cong and Hang Xiong and Jinpeng Chen and Wei Zhang and Qingming Huang and Yao Zhao},
journal= {arXiv preprint arXiv:2403.06488},
year = {2024}
}
备注
Accepted by IEEE TMM 2024