SegTransVAE:融合正则化的混合 CNN–Transformer 医学图像分割网络
图像与视频处理
2023-10-03 v4 计算机视觉与模式识别
摘要
当前基于深度学习的医学图像分割研究暴露出在学习全局语义信息或局部上下文信息方面的局限。为应对这些问题,本文提出一种名为 SegTransVAE 的新网络。SegTransVAE 构建于编码器–解码器架构之上,将带变分自编码器(VAE)分支的 transformer 引入网络,以联合重建输入图像并进行分割。据我们所知,这是首个结合 CNN、transformer 与 VAE 成功经验的方案。在多个近期引入的数据集上的评估表明,SegTransVAE 在 Dice 分数和 -Haudorff 距离上优于先前方法,同时推理时间与基于简单 CNN 的架构网络相当。源代码见:https://github.com/itruonghai/SegTransVAE。
引用
@article{arxiv.2201.08582,
title = {SegTransVAE: Hybrid CNN -- Transformer with Regularization for medical image segmentation},
author = {Quan-Dung Pham and Hai Nguyen-Truong and Nam Nguyen Phuong and Khoa N. A. Nguyen},
journal= {arXiv preprint arXiv:2201.08582},
year = {2023}
}