SSiT：用于糖尿病视网膜病变分级的显著性引导自监督图像 Transformer
计算机视觉与模式识别
2024-03-13 v5
摘要
自监督学习（SSL）已广泛用于通过利用无标签图像学习图像表示。然而，其在医学图像分析领域尚未得到充分探索。本文提出用于眼底图像糖尿病视网膜病变（DR）分级的显著性引导自监督图像 Transformer（SSiT）。我们新颖地将显著性图引入 SSL，旨在以领域特定先验知识引导自监督预训练。具体而言，SSiT 中采用了两个显著性引导学习任务：（1）基于动量对比进行显著性引导对比学习，利用眼底图像的显著性图从动量更新的键编码器的输入序列中去除琐碎图像块。从而约束键编码器提供聚焦于显著区域的目标表示，引导查询编码器捕获显著特征。（2）训练查询编码器预测显著性分割，促使所学表示保留细粒度信息。为评估所提方法，采用了四个公开可及的眼底图像数据集。其中一个用于预训练，其余三个用于评估预训练模型在下游 DR 分级上的性能。所提 SSiT 在所有下游数据集及多种评估设置下显著优于其他具代表性的最先进 SSL 方法。例如，在微调评估下 SSiT 在 DDR 数据集上取得 81.88% 的 Kappa 分数，比所有其他基于 ViT 的 SSL 方法至少高出 9.48%。
引用
@article{arxiv.2210.10969,
title = {SSiT: Saliency-guided Self-supervised Image Transformer for Diabetic Retinopathy Grading},
author = {Yijin Huang and Junyan Lyu and Pujin Cheng and Roger Tam and Xiaoying Tang},
journal= {arXiv preprint arXiv:2210.10969},
year = {2024}
}