用于少样本分割的协方差矩阵双重可变形聚合
计算机视觉与模式识别
2022-08-02 v1
摘要
利用少量标注样本训练语义分割模型在各种现实应用中具有巨大潜力。对于少样本分割任务，主要挑战是如何在有限训练数据下准确度量支持样本与查询样本之间的语义对应。为解决该问题，我们提出以可变形4D Transformer聚合可学习协方差矩阵，以有效预测分割图。具体而言，本文首先设计了一种新颖的难例挖掘机制，为高斯过程学习协方差核。所学协方差核函数在对应度量上相较现有基于余弦相似度的方法具有显著优势。基于所学协方差核，设计了一种高效的双重可变形4D Transformer模块，自适应地将特征相似度图聚合为分割结果。结合上述两种设计，所提方法不仅在公开基准上刷新了SOTA性能，而且比现有方法收敛极快。在三个公开数据集上的实验证明了我们方法的有效性。
引用
@article{arxiv.2208.00306,
title = {Doubly Deformable Aggregation of Covariance Matrices for Few-shot Segmentation},
author = {Zhitong Xiong and Haopeng Li and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2208.00306},
year = {2022}
}
备注
ECCV 2022 accepted