基于 Acuity 正则化的稳定 CDE 自动编码器用于 Sepsis 治疗的离线强化学习

有效的 Sepsis 治疗强化学习依赖于从不规则 ICU 时间序列中学习稳定且临床上有意义的状态表示。尽管已有工作探索了为此任务进行表示学习，但训练顺序表示的稳定性及其对策略性能的负面影响的关键挑战仍被忽视了。本工作表明，受控微分方程 (CDE) 状态表示在满足两个关键条件时能够实现优异的 RL 策略：(1) 通过早停或稳定方法确保训练稳定性，(2) 通过与临床评分 (SOFA、SAPS-II、OASIS) 的相关性正则化来强制实现 Acuity 感知的表示。在 MIMIC-III Sepsis 队列中的实验表明，稳定的 CDE 自动编码器产生的表示与 Acuity 评分高度相关，并 enabled RL 策略实现卓越的性能（WIS return $> 0.9$）。相比之下，不稳定的 CDE 表示导致表示退化和策略失效（WIS return $\sim$ 0）。潜在空间的可视化显示，稳定的 CDE 不仅能将�存者与非�存者轨迹分开，还能显示清晰的 Acuity 评分梯度，而不稳定的训练则未能捕获上述任一模式。这些发现为在临床 RL 中使用 CDE 对编码不规则医疗时间序列提供了实用指南，强调顺序表示学习中训练稳定性的必要性。