时间上下文至关重要：利用疾病进展表示增强单图像预测
图像与视频处理
2022-04-01 v2 计算机视觉与模式识别
摘要
从医学图像进行临床结局或严重程度预测主要集中于从单时间点或快照扫描中学习表示。已有研究表明疾病进展可通过时间序列成像更好地表征。因此我们假设，利用序列图像中的疾病进展信息可改善结局预测。我们提出一种深度学习方法来利用时间进展信息以改善基于单时间点图像的临床表现预测。在我们的方法中，基于自注意力的时序卷积网络（TCN）用于学习最能反映疾病轨迹的表示。同时，以自监督方式预训练 Vision Transformer 以从单时间点图像提取特征。关键贡献在于设计一个重校准模块，该模块采用最大均值差异损失（MMD）来对齐上述两种上下文表示的分布。我们训练系统以从单时间点图像预测临床结局和严重程度分级。在胸部和骨关节炎放射学数据集上的实验表明我们的方法优于其他最先进技术。
引用
@article{arxiv.2203.01933,
title = {Temporal Context Matters: Enhancing Single Image Prediction with Disease Progression Representations},
author = {Aishik Konwer and Xuan Xu and Joseph Bae and Chao Chen and Prateek Prasanna},
journal= {arXiv preprint arXiv:2203.01933},
year = {2022}
}
备注
Accepted in CVPR 2022 (ORAL)