融合超声心动图图像与医疗记录以实现连续的患者分层

深度学习能够从超声心动图序列中自动且稳健地提取心脏功能描述符，例如射血分数或应变。这些描述符提供了细粒度信息，医生会结合临床记录中更全局的变量来评估患者状况。借鉴应用于表格数据的新型 Transformer 模型，我们提出了一种方法，该方法综合考虑从医疗记录和超声心动图中提取的所有描述符，以学习一种难以刻画其连续谱的心血管病理——即高血压——的表征。我们的方法首先使用模态特定的方法将每个变量投影到其自身的表示空间。然后，这些多模态数据的标准化表示被馈送至一个 Transformer 编码器，该编码器通过预测临床评级的任务，学习将它们融合成一个全面的患者表征。此分层任务被形式化为一个有序分类问题，以在表示空间中强化病理连续谱。我们在一个包含 239 名高血压患者的队列上观察了这一连续谱上的主要趋势，为描述高血压对各种心脏功能描述符的影响提供了前所未有的细节。我们的分析表明：i) XTab 基础模型的架构使得即使在数据有限（少于 200 个训练样本）的情况下也能达到出色的性能（96.8% AUROC）；ii) 跨人群的分层在多次训练之间是可重复的（平均绝对误差在 5.7% 以内）；iii) 描述符中涌现出一些模式，其中部分与已确立的关于高血压的生理学知识相符，而另一些则可能为更全面地理解这种病理铺平道路。代码可在 https://github.com/creatis-myriad/didactic 获取。