基于 Transformer 网络与跨尺度依赖建模改进皮肤病变分割
图像与视频处理
2023-10-23 v1 人工智能
计算机视觉与模式识别
摘要
黑色素瘤是一种由皮肤细胞异常增生引起的危险皮肤癌，若及早发现可治愈。已有多种基于全卷积网络（FCNs）的方法被提出，其中 U-Net 架构因可通过自动皮肤病变分割辅助诊断而尤为突出。然而，对称 U-Net 模型对卷积操作的依赖阻碍了其捕捉对精确医学图像分割至关重要的长程依赖的能力。近期已创建若干基于 Transformer 的 U-Net 拓扑，通过用不同 Transformer 模块替换 CNN 模块来克服此局限，以捕捉局部与全局表征。此外，U 形结构受限于编码器与解码器之间的语义鸿沟。本研究旨在通过精心构建跳跃连接路径来提升网络特征的可复用性。在跳跃连接路径中整合已计算的注意力亲和度，改进了常规跳跃连接路径中使用的典型拼接过程。据此，我们提出一种用于皮肤病变分割的 U 形分层 Transformer 结构，以及一种跨尺度上下文融合（ISCF）方法，该方法利用编码器各阶段的注意力相关性自适应地融合各阶段上下文以缓解语义鸿沟。来自两个皮肤病变分割基准的结果支持了 ISCF 模块的适用性与有效性。代码公开于 \url{https://github.com/saniaesk/skin-lesion-segmentation}。
引用
@article{arxiv.2310.13604,
title = {Skin Lesion Segmentation Improved by Transformer-based Networks with Inter-scale Dependency Modeling},
author = {Sania Eskandari and Janet Lumpp and Luis Sanchez Giraldo},
journal= {arXiv preprint arXiv:2310.13604},
year = {2023}
}