FuseNet：用于医学图像分割的自监督双路径网络
计算机视觉与模式识别
2023-11-23 v1
摘要
语义分割是计算机视觉中的关键任务，通常依赖耗费人力且昂贵的标注数据集进行训练。为应对此挑战，我们提出 FuseNet，一种用于自监督语义分割的双流框架，无需手动标注。FuseNet 利用原始图像与增强图像间的共享语义依赖来构建聚类空间，有效地将像素分配至语义相关的簇，最终生成分割图。此外，FuseNet 引入跨模态融合技术，通过以增强图像替换文本数据来扩展 CLIP 的原理。该方法使模型能够学习复杂视觉表示，增强对类似 CLIP 文本不变性的变化的鲁棒性。为进一步提升相邻像素间的边缘对齐与空间一致性，我们引入边缘细化损失。该损失函数考虑边缘信息以增强空间连贯性，促进具有相似视觉特征的邻近像素分组。在皮肤病变和肺部分割数据集上的大量实验证明了我们方法的有效性。\href{https://github.com/xmindflow/FuseNet}{Codebase.}
引用
@article{arxiv.2311.13069,
title = {FuseNet: Self-Supervised Dual-Path Network for Medical Image Segmentation},
author = {Amirhossein Kazerouni and Sanaz Karimijafarbigloo and Reza Azad and Yury Velichko and Ulas Bagci and Dorit Merhof},
journal= {arXiv preprint arXiv:2311.13069},
year = {2023}
}