利用基于 Transformer 的序列建模发挥纵向医学影像在眼病预后中的威力

Gregory Holste; Mingquan Lin; Ruiwen Zhou; Fei Wang; Lei Liu; Qi Yan; Sarah H. Van Tassel; Kyle Kovacs; Emily Y. Chew; Zhiyong Lu; Zhangyang Wang; Yifan Peng

利用基于 Transformer 的序列建模发挥纵向医学影像在眼病预后中的威力

计算机视觉与模式识别 2024-07-31 v2 人工智能

作者: Gregory Holste , Mingquan Lin , Ruiwen Zhou , Fei Wang , Lei Liu , Qi Yan , Sarah H. Van Tassel , Kyle Kovacs , Emily Y. Chew , Zhiyong Lu , Zhangyang Wang , Yifan Peng

在 arXiv 上查看 ↗ PDF ↗

摘要

深度学习在医学影像自动诊断方面取得了突破，在眼科领域有许多成功的应用。然而，标准的医学图像分类方法仅评估采集时的疾病存在情况，忽略了纵向成像这一常见临床场景。对于年龄相关性黄斑变性 (AMD) 和原发性开角型青光眼 (POAG) 等缓慢进展的眼病，患者会随着时间的推移进行重复成像以跟踪疾病进展，而预测未来发生疾病的风险对于合理规划治疗至关重要。我们提出的用于生存分析的纵向 Transformer (LTSA) 能够从纵向医学影像中进行动态疾病预后，对在长而不规则时间段内捕获的眼底摄影图像序列建模至疾病发生的时间。使用来自年龄相关性眼病研究 (AREDS) 和眼高压治疗研究 (OHTS) 的纵向成像数据，LTSA 在晚期 AMD 预后的 20 次正面比较中有 19 次显著优于单图像基线，在 POAG 预后的 20 次比较中有 18 次显著优于单图像基线。时间注意力分析还表明，虽然最近的图像通常最具影响力，但先前的成像仍能提供额外的预后价值。

关键词

纵向医学影像疾病预后 Transformer 生存分析眼病序列建模

引用

@article{arxiv.2405.08780,
  title  = {Harnessing the power of longitudinal medical imaging for eye disease prognosis using Transformer-based sequence modeling},
  author = {Gregory Holste and Mingquan Lin and Ruiwen Zhou and Fei Wang and Lei Liu and Qi Yan and Sarah H. Van Tassel and Kyle Kovacs and Emily Y. Chew and Zhiyong Lu and Zhangyang Wang and Yifan Peng},
  journal= {arXiv preprint arXiv:2405.08780},
  year   = {2024}
}

备注

Accepted to npj Digital Medicine

利用基于 Transformer 的序列建模发挥纵向医学影像在眼病预后中的威力

摘要

关键词

引用

备注

相关论文