用于少样本分割的自校准交叉注意力网络
计算机视觉与模式识别
2023-08-21 v1
摘要
少样本分割(FSS)成功的关键在于如何有效利用支持样本。大多数方法将支持前景(FG)特征压缩为原型,但丢失了部分空间细节。另一些方法则使用交叉注意力将查询特征与未压缩的支持 FG 融合。查询 FG 可与支持 FG 融合,但查询背景(BG)无法在支持 FG 中找到匹配 BG 特征,却不可避免地整合了不相似特征。此外,由于查询 FG 和 BG 都与支持 FG 结合,它们相互纠缠,从而导致分割无效。为应对这些问题,我们设计了自校准交叉注意力(SCCA)块。为高效的基于块的注意力,查询和支持特征首先被分割为块。然后,我们设计块对齐模块将每个查询块与其最相似的支持块对齐,以获得更好的交叉注意力。具体而言,SCCA 取查询块为 Q,并将来自同一查询图像的块和对齐后的支持图像块作为 K&V。这样,查询 BG 特征与匹配的 BG 特征(来自查询块)融合,从而缓解上述问题。此外,在计算 SCCA 时,我们设计了一种缩放余弦机制以更好地利用支持特征进行相似度计算。在 PASCAL-5^i 和 COCO-20^i 上进行的大量实验证明了我们模型的优越性,例如在 COCO-20^i 上 5-shot 设定下的 mIoU 分数比先前最先进方法高 5.6% 以上。代码见 https://github.com/Sam1224/SCCAN。
引用
@article{arxiv.2308.09294,
title = {Self-Calibrated Cross Attention Network for Few-Shot Segmentation},
author = {Qianxiong Xu and Wenting Zhao and Guosheng Lin and Cheng Long},
journal= {arXiv preprint arXiv:2308.09294},
year = {2023}
}
备注
This paper is accepted by ICCV'23