SeATrans：通过 Transformer 学习分割辅助诊断模型
计算机视觉与模式识别
2022-06-23 v2
摘要
临床上，对病灶/组织的精确标注可显著促进疾病诊断。例如，眼底图像上视盘/视杯（OD/OC）的分割有助于青光眼诊断，皮肤镜图像上皮肤病变的分割有助于黑色素瘤诊断等。随着深度学习技术的发展，大量方法证明了病灶/组织分割也能促进自动化疾病诊断模型。然而，现有方法的局限在于只能捕捉图像中的静态区域关联。受 Vision Transformer 全局与动态特性的启发，本文提出分割辅助诊断 Transformer（SeATrans）以将分割知识迁移至疾病诊断网络。具体而言，我们首先提出一种非对称多尺度交互策略，将每个单一低级诊断特征与多尺度分割特征相关联。然后，采用一种称为 SeA-block 的有效策略，通过相关联的分割特征激活诊断特征。为建模分割-诊断交互，SeA-block 首先通过编码器基于分割信息嵌入诊断特征，随后通过解码器将嵌入传回诊断特征空间。实验结果表明，SeATrans 在多个疾病诊断任务上超越了大量最先进（SOTA）的分割辅助诊断方法。
引用
@article{arxiv.2206.05763,
title = {SeATrans: Learning Segmentation-Assisted diagnosis model via Transformer},
author = {Junde Wu and Huihui Fang and Fangxin Shang and Dalu Yang and Zhaowei Wang and Jing Gao and Yehui Yang and Yanwu Xu},
journal= {arXiv preprint arXiv:2206.05763},
year = {2022}
}