TransFusion：基于 Transformer 的多视图发散融合医学图像分割
图像与视频处理
2022-09-07 v4 计算机视觉与模式识别
摘要
融合多视图图像信息对于提升疾病诊断自动化方法的性能与鲁棒性至关重要。然而，由于多视图图像的非对齐特性，跨视图建立关联与数据融合在很大程度上仍是一个开放问题。在本研究中，我们提出 TransFusion，一种基于 Transformer 的架构，利用卷积层与强大的注意力机制合并发散的多视图成像信息。特别地，提出发散融合注意力（DiFA）模块用于丰富的跨视图上下文建模与语义依赖挖掘，解决捕获来自不同图像视图的非对齐数据间长程相关性的关键问题。我们进一步提出多尺度注意力（MSA）以收集多尺度特征表示的全局对应。我们在心脏 MRI 多疾病、多视图与多中心右心室分割（M&Ms-2）挑战队列上评估 TransFusion。TransFusion 展现出优于 SOTA 方法的领先性能，并为面向鲁棒医学图像分割的多视图成像集成开辟了新视角。
引用
@article{arxiv.2203.10726,
title = {TransFusion: Multi-view Divergent Fusion for Medical Image Segmentation with Transformers},
author = {Di Liu and Yunhe Gao and Qilong Zhangli and Ligong Han and Xiaoxiao He and Zhaoyang Xia and Song Wen and Qi Chang and Zhennan Yan and Mu Zhou and Dimitris Metaxas},
journal= {arXiv preprint arXiv:2203.10726},
year = {2022}
}