MIANet：聚合无偏实例与通用信息用于少样本语义分割
计算机视觉与模式识别
2023-05-24 v1
摘要
现有的少样本分割方法基于元学习策略，从支持集中提取实例知识，然后将该知识应用于分割查询集中的目标对象。然而，由于知识是从支持集中的少量样本获得的，所提取的知识不足以应对可变的类内差异。为解决该问题，我们提出了一种多信息聚合网络（MIANet），它有效利用通用知识（即语义词嵌入）和实例信息以实现准确分割。具体而言，在MIANet中，提出了一个通用信息模块（GIM）从词嵌入中提取通用类原型作为实例信息的补充。为此，我们设计了一个三元组损失，将通用类原型作为锚点，并从支持集的局部特征中采样正负对。计算所得的三元组损失可将语言身份间的语义相似性从词嵌入空间迁移到视觉表示空间。为缓解模型对所见训练类的偏置并获得多尺度信息，我们随后引入了一个非参数层次先验模块（HPM），通过计算得到支持集与查询集图像特征间的像素级相似性来生成无偏的实例级信息。最后，信息融合模块（IFM）结合通用与实例信息对查询图像进行预测。在PASCAL-5i和COCO-20i上的大量实验表明，MIANet取得了优越性能并刷新了当前最优水平。代码见https://github.com/Aldrich2y/MIANet。
引用
@article{arxiv.2305.13864,
title = {MIANet: Aggregating Unbiased Instance and General Information for Few-Shot Semantic Segmentation},
author = {Yong Yang and Qiong Chen and Yuan Feng and Tianlin Huang},
journal= {arXiv preprint arXiv:2305.13864},
year = {2023}
}
备注
Accepted to CVPR 2023