HyperWalker：基于动态超图的跨EHR和X光的医学视觉语言模型深度诊断
计算与语言
2026-01-21 v1 计算机视觉与模式识别
摘要
自动化临床诊断是医学人工智能的核心挑战，通常需要模型整合多模态数据并在复杂的、案例特定的上下文中进行推理。虽然近期方法在医学报告生成（MRG）和视觉问答（VQA）方面通过医学视觉语言模型（VLMs）取得了进展，但这些方法主要 operate 在样本孤立的推理范式下，即处理案例独立且无法获取纵向电子健康记录（EHR）或结构相关的患者示例。这一范式限制了推理仅基于图像-derived 信息，忽略了可能更准确诊断的外部补充医学证据。为克服这一限制，我们提出了 HyperWalker，一个深度诊断框架，通过动态超图和测试时训练重新构建临床推理。首先，我们构建动态超图，称为 iBrochure，用于建模 EHR 数据的结构异质性以及多模态临床信息之间的隐含高阶关联。在该超图中，强化学习智能体 Walker 遍历并识别最优诊断路径。为确保测试样本中多样化临床特征的全面覆盖，我们引入 linger 机制，即一种多跳正交检索策略，迭代选择反映不同临床属性的临床互补邻域案例。在 MIMIC 和医学 VQA EHRXQA 上的实验表明，HyperWalker 实现了最先进的性能。代码已公开：https://github.com/Bean-Young/HyperWalker
引用
@article{arxiv.2601.13919,
title = {HyperWalker: Dynamic Hypergraph-Based Deep Diagnosis for Multi-Hop Clinical Modeling across EHR and X-Ray in Medical VLMs},
author = {Yuezhe Yang and Hao Wang and Yige Peng and Jinman Kim and Lei Bi},
journal= {arXiv preprint arXiv:2601.13919},
year = {2026}
}
备注
Under Review