用于多模态PET-CT分割的超连接Transformer网络
图像与视频处理
2023-08-08 v2 计算机视觉与模式识别
摘要
[18F]-氟代脱氧葡萄糖（FDG）正电子发射断层扫描-计算机断层扫描（PET-CT）已成为诊断多种癌症的首选成像方式。协同学习互补的PET-CT成像特征是自动肿瘤分割及开发计算机辅助癌症诊断系统的基本需求。在本研究中，我们提出一种超连接Transformer（HCT）网络，它将Transformer网络（TN）与用于多模态PET-CT图像的超连接融合相结合。TN因其能在图像特征学习中提供全局依赖关系而被采用，这是通过图像块嵌入与自注意力机制来获取图像级上下文信息实现的。我们将TN的单模态定义扩展为基于多个TN的分支，以分别提取图像特征。我们还引入了超连接融合，以迭代方式跨多个Transformer融合上下文与互补图像特征。我们在两个临床数据集上的结果表明，与现有方法相比，HCT在分割精度上取得了更优性能。
引用
@article{arxiv.2210.15808,
title = {Hyper-Connected Transformer Network for Multi-Modality PET-CT Segmentation},
author = {Lei Bi and Michael Fulham and Shaoli Song and David Dagan Feng and Jinman Kim},
journal= {arXiv preprint arXiv:2210.15808},
year = {2023}
}
备注
EMBC 2023