基于注意力的多尺度门控循环编码器与新颖相关性损失用于COVID-19进展预测
图像与视频处理
2021-07-20 v1 计算机视觉与模式识别
摘要
COVID-19影像分析大多集中于利用疾病初现或入院时获取的单时间点扫描进行诊断任务。我们提出一种基于深度学习的方法，从COVID-19患者的连续胸部X光片（CXR）预测肺浸润进展。我们的方法首先利用卷积神经网络（CNN）从关注肺区内的图像块以及邻近和远端边界区域提取特征。该框架进一步结合了一个带有相关性模块的多尺度门控循环单元（GRU）以实现有效预测。GRU接受来自三个不同区域的CNN特征向量作为输入并生成融合表示。相关性模块试图最小化关注区域与邻近区域特征向量隐表示之间的相关性损失，同时最大化关注区域与远端区域特征向量隐表示之间的该损失。此外，我们在每个编码器时间点的输出隐状态上采用注意力模块以生成上下文向量。该向量用作解码器模块的输入，以预测未来时间点的图像块严重程度分级。最后，我们集成图像块分类分数以计算患者级分级。具体而言，我们的框架通过学习先前时序CXR的表示，预测某患者在给定日期的分区疾病严重程度。我们的新颖多机构数据集包含N=93名患者的连续CXR扫描。我们的方法在该数据集上优于迁移学习和基于放射组学特征的基线方法。
引用
@article{arxiv.2107.08330,
title = {Attention-based Multi-scale Gated Recurrent Encoder with Novel Correlation Loss for COVID-19 Progression Prediction},
author = {Aishik Konwer and Joseph Bae and Gagandeep Singh and Rishabh Gattu and Syed Ali and Jeremy Green and Tej Phatak and Prateek Prasanna},
journal= {arXiv preprint arXiv:2107.08330},
year = {2021}
}
备注
The paper is early accepted to MICCAI 2021