基于双匹配变换的跨域少样本语义分割
计算机视觉与模式识别
2024-05-27 v1
摘要
跨域少样本语义分割（CD-FSS）旨在训练能够对不同域内类别进行分割的通用模型，这些模型仅需少量标记图像。先前的研究表明，特征变换在解决CD-FSS问题方面有效。然而，这些方法完全依赖支持图像进行特征变换，且重复利用少量支持图像可能导致过拟合，忽略类内外观差异。本文提出一种基于双匹配变换的网络（DMTNet），以解决上述问题。我们提出自匹配变换（SMT），构建基于查询图像本身的查询特定变换矩阵，将域特定查询特征转换为域无关特征。计算查询特定的变换矩阵可防止过拟合，尤其是在仅使用一个或多个图像作为支持图像对数百或数千个图像进行分割的元测试阶段。获得域无关特征后，我们利用双超相关构建（DHC）模块，探索查询图像与支持图像前景和背景之间的超相关性，据此生成并监督前景和背景预测图，以增强分割结果。此外，我们提出一种测试时自微调（TSF）策略，以更准确地对不可见域的查询预测进行自调。实验表明，在四个流行数据集上，DMTNet的性能优于当前最先进的方法。代码已公开：https://github.com/ChenJiayi68/DMTNet。
引用
@article{arxiv.2405.15265,
title = {Cross-Domain Few-Shot Semantic Segmentation via Doubly Matching Transformation},
author = {Jiayi Chen and Rong Quan and Jie Qin},
journal= {arXiv preprint arXiv:2405.15265},
year = {2024}
}