自监督语义分割：变换下的一致性
计算机视觉与模式识别
2023-09-04 v1
摘要
准确的医学图像分割对于实现自动化临床决策流程至关重要。然而，现有的有监督深度学习医学图像分割方法因其对大量标注训练数据的严重依赖而面临重大挑战。为解决此问题，我们提出了一种新颖的自监督算法 \textbf{S-Net}，其集成了基于所提出的Inception大核注意力（I-LKA）模块的鲁棒框架。该架构增强使得在保留局部细节的同时全面捕获上下文信息成为可能，从而实现精确的语义分割。此外，考虑到医学图像中的病灶常表现出形变，我们利用可变形卷积作为核心组件，有效捕获并描绘病灶形变以获得更优的目标边界定义。另外，我们的自监督策略强调获取对仿射变换的不变性，这在医学场景中很常见。这种对几何畸变鲁棒性的重视显著增强了模型准确建模和处理此类畸变的能力。为强制空间一致性并促进具有相似特征表示的 spatially connected 图像像素的分组，我们引入了空间一致性损失项。这有助于网络有效捕获相邻像素间的关系并提升整体分割质量。S-Net方法以端到端方式迭代学习用于图像内容聚类的像素级特征表示。我们在皮肤病灶和肺部器官分割任务上的实验结果表明，相较SOTA方法，我们的方法具有更优性能。https://github.com/mindflow-institue/SSCT
引用
@article{arxiv.2309.00143,
title = {Self-supervised Semantic Segmentation: Consistency over Transformation},
author = {Sanaz Karimijafarbigloo and Reza Azad and Amirhossein Kazerouni and Yury Velichko and Ulas Bagci and Dorit Merhof},
journal= {arXiv preprint arXiv:2309.00143},
year = {2023}
}
备注
Accepted in ICCV 2023 workshop CVAMD