基于多尺度时空Transformer的不平衡纵向学习用于不规则时间序列图像的青光眼预测
计算机视觉与模式识别
2024-02-22 v1 人工智能
摘要
青光眼是导致进行性视神经纤维损伤和不可逆失明的主要眼病之一，影响着数百万人。青光眼预测是对潜在患者进行早期筛查和干预的良好解决方案，有助于防止疾病进一步恶化。它利用一只眼睛的一系列历史眼底图像，预测未来发生青光眼的可能性。然而，不规则采样特性和不平衡的类别分布是疾病预测方法开发中的两个挑战。为此，我们引入了基于Transformer架构的多尺度时空Transformer网络（MST-former），该架构专为序列图像输入定制，能够有效从序列图像中学习时间和空间维度上的代表性语义信息。具体而言，我们采用多尺度结构来提取不同分辨率下的特征，这可以充分利用每张图像中编码的丰富空间信息。此外，我们设计了一个时间距离矩阵以非线性方式缩放时间注意力，这可以有效处理不规则采样的数据。此外，我们引入了一个温度控制的平衡Softmax交叉熵损失来解决类别不平衡问题。在青光眼预测序列眼底图像（SIGF）数据集上的大量实验证明了所提出的MST-former方法的优越性，青光眼预测的AUC达到98.6%。此外，我们的方法在阿尔茨海默病神经影像学倡议（ADNI）MRI数据集上表现出优异的泛化能力，对轻度认知障碍和阿尔茨海默病预测的准确率达到90.3%，大幅优于对比方法。
引用
@article{arxiv.2402.13475,
title = {Multi-scale Spatio-temporal Transformer-based Imbalanced Longitudinal Learning for Glaucoma Forecasting from Irregular Time Series Images},
author = {Xikai Yang and Jian Wu and Xi Wang and Yuchen Yuan and Ning Li Wang and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2402.13475},
year = {2024}
}
备注
12 pages, 7 figures