TaGAT：面向多模态视网膜图像融合的拓扑感知图注意力网络
图像与视频处理
2024-07-22 v1 计算机视觉与模式识别
摘要
在医学图像融合领域，整合来自不同模态的信息对于提高诊断和治疗规划尤为重要，特别是视网膜健康领域，其中重要特征在不同成像模态中表现不同。现有的深度学习方法在视网膜图像融合方面不足，无法在视网膜图像融合中保留足够的解剖结构和细微血管细节。为此，我们提出了一种名为TaGAT的拓扑感知图注意力网络，用于多模态视网膜图像融合，利用新颖的拓扑感知编码器（Topology-Aware Encoder, TAE）配合图注意力网络（Graph Attention Network, GAT），有效地通过视网膜血管的图结构跨模态增强空间特征。TAE通过从视网膜图像中提取的长短程编码器（Long-short Range, LSR）对基线特征和细节特征编码为从视网膜血管中提取的图。于TAE内部，基于GAT的图信息更新（Graph Information Update, GIU）模块动态地细化和聚合节点特征，以生成拓扑感知图特征。将基线特征和细节特征与更新后的图特征组合并解码后，生成融合图像。我们的模型在荧光素肝素血管造影（Fluorescein Fundus Angiography, FFA）与色彩肝素血管造影（Color Fundus, CF）以及光学相干断层扫描（Optical Coherence Tomography, OCT）与共聚焦显微镜视网膜图像融合中超越了当前最先进的方法。源代码可通过 https://github.com/xintian-99/TaGAT 访问。
引用
@article{arxiv.2407.14188,
title = {TaGAT: Topology-Aware Graph Attention Network For Multi-modal Retinal Image Fusion},
author = {Xin Tian and Nantheera Anantrasirichai and Lindsay Nicholson and Alin Achim},
journal= {arXiv preprint arXiv:2407.14188},
year = {2024}
}
备注
11 pages, 2 figures, accepted by MICCAI 2024