Clin-JEPA：用于EHR患者轨迹的联合嵌入预测预训练的多阶段协训练框架
摘要
我们提出Clin-JEPA，这是一个用于EHR患者轨迹的联合嵌入预测(JEPA)预训练的多阶段协训练框架。JEPA架构已在机器人中的潜在空间规划以及视觉中的高质量表征学习中取得成功，但将范式扩展到EHR数据——获得一个能够同时预测患者轨迹并无需针对每个任务进行微调即可服务于多样化下游风险预测任务的单一主干网络——仍是一个开放挑战。现有的JEPA框架要么在预训练后丢弃预测器(I-JEPA、V-JEPA)，要么在冻结的预训练编码器上训练预测器(V-JEPA 2-AC)，导致编码器在推断时 unaware of rollout signal；在共享JEPA预测目标下协训练编码器和预测器以提供这种 grounding，但 na"ive 协训练不稳定，导致表征塌陷和在线/目标漂移使自回归 rollout 发散。Clin-JEPA的五阶段预训练课程——预测器热身、联合细化、EMA目标对齐、硬同步和预测器最终化——通过每个阶段解决每个故障模式，稳定地协训练一个基于Qwen3-8B的编码器和一个920万参数的潜在轨迹预测器。在MIMIC-IV ICU数据上，三个独立的评估支持了该框架：(1)潜在 rollout漂移唯一地收敛(15.7%)在48小时的时间范围内，而基线和消除方法发散(+3%到+4951%)；(2)编码器学习了临床判别性潜在几何（恶化-患者队列在潜在空间中与稳定患者错位4.83倍，而基线编码器为2.62倍）；(3)单个主干网络在多任务下游评估中优于强大的表格和序列基线。Clin-JEPA在ICareFM EEP上实现了平均AUROC 0.851，在8个二元风险任务上实现0.883(+0.038和+0.041 vs 基线平均)。
引用
@article{arxiv.2605.10840,
title = {Clin-JEPA: A Multi-Phase Co-Training Framework for Joint-Embedding Predictive Pretraining on EHR Patient Trajectories},
author = {Yixuan Yang and Mehak Arora and Ryan Zhang and Baraa Abed and Junseob Kim and Tilendra Choudhary and Md Hassanuzzaman and Kevin Zhu and Ayman Ali and Chengkun Yang and Alasdair Edward Gent and Victor Moas and Rishikesan Kamaleswaran},
journal= {arXiv preprint arXiv:2605.10840},
year = {2026}
}
备注
17 pages, 4 figures, 8 tables. Code: https://github.com/YeungYathin/Clin-JEPA