JOINEDTrans：用于视盘/视杯联合分割与黄斑检测的先验引导多任务 Transformer
图像与视频处理
2023-05-22 v1 计算机视觉与模式识别
机器学习
摘要
基于深度学习的图像分割与检测模型大幅提升了视盘（OD）、视杯（OC）和黄斑等视网膜标志物分析的效率。然而，眼科疾病相关病灶及低图像质量等因素可能严重复杂化自动 OD/OC 分割与黄斑检测。现有多数工作将各标志物的识别视为单一任务，且未考虑先验信息。为解决这些问题，我们提出一种用于联合 OD/OC 分割与黄斑检测的先验引导多任务 Transformer 框架，名为 JOINEDTrans。JOINEDTrans 有效结合眼底图像的多重空间特征，缓解由病灶及其他成像问题引起的结构畸变。其包含分割分支与检测分支。需指出的是，我们采用在血管分割任务中预训练的编码器，以有效利用血管、OD/OC 与黄斑间的位置关系，成功将空间先验融入所提 JOINEDTrans 框架。JOINEDTrans 含粗、精两阶段：粗阶段通过联合分割与检测模块获得 OD/OC 粗分割与黄斑热图定位；精阶段裁剪感兴趣区域作后续细化，并利用粗阶段预测提供额外信息以提升性能与加速收敛。实验结果表明，JOINEDTrans 在公开可用的 GAMMA、REFUGE 和 PALM 眼底图像数据集上优于现有最先进方法。代码见 https://github.com/HuaqingHe/JOINEDTrans
引用
@article{arxiv.2305.11504,
title = {JOINEDTrans: Prior Guided Multi-task Transformer for Joint Optic Disc/Cup Segmentation and Fovea Detection},
author = {Huaqing He and Li Lin and Zhiyuan Cai and Pujin Cheng and Xiaoying Tang},
journal= {arXiv preprint arXiv:2305.11504},
year = {2023}
}
备注
11 pages, 6 figures