基于交叉参考Transformer的小样本医学图像分割
图像与视频处理
2023-07-27 v4 计算机视觉与模式识别
摘要
深度学习模型已成为医学图像分割的主流方法，但它们需要大量人工标注数据集进行训练，且难以扩展到未见过的新类别。小样本分割（FSS）有潜力通过从少量标注样本中学习新类别来应对这些挑战。当前大多数方法采用原型学习架构，即扩展支持原型向量并将其与查询特征拼接以进行条件分割。然而，此类框架可能更关注查询特征，而忽视支持特征与查询特征之间的相关性。本文中，我们提出了一种新颖的具有交叉参考Transformer的自监督小样本医学图像分割网络，解决了支持图像与查询图像之间缺乏交互的问题。我们首先使用双向交叉注意力模块增强支持集图像与查询图像之间的相关性特征。然后，我们采用交叉参考机制，在高维通道中挖掘并增强支持特征与查询特征的相似部分。实验结果表明，所提模型在CT数据集和MRI数据集上均取得了良好结果。
引用
@article{arxiv.2304.09630,
title = {Few-shot Medical Image Segmentation via Cross-Reference Transformer},
author = {Yao Huang and Jianming Liu},
journal= {arXiv preprint arXiv:2304.09630},
year = {2023}
}
备注
6 pages,4 figures