基于离线强化学习与数字孪生验证的自动机械通气安全保障
机器学习
2026-03-13 v1
摘要
机械通气(MV)是治疗急性呼吸衰竭(ARF)患者的救命措施。然而，不当的通气设置可能导致通气性肺损伤(VILI)。此外，临床医生的工作量与患者结局直接相关。因此，应该实现机械通气的个性化和自动化，以改善患者结局。以往将个性化和自动化纳入机械通气的尝试包括传统监督学习和离线强化学习(RL)方法，这些方法往往忽略时序依赖关系，过度依赖基于死亡率的奖励。结果是，早期生理恶化和VILI风险未能得到充分捕捉。为克服这些限制，我们提出了基于Transformer的保守Q学习(T-CQL)，这是一种新的离线RL框架，集成了用于有效对患者动态进行时序建模的Transformer编码器，基于不确定性定量化的保守自适应正则化以确保安全，并采用一致性正则化以实现稳健的决策。我们构建了一个临床导向的奖励函数，纳入了VILI指标和患者病情严重程度评分。此外，先前工作在静态离线数据上主要使用拟合Q评估(FQE)进行RL策略评估，该方法对动态环境变化不够敏感，容易受分布迁移的影响。为克服这些评估限制，我们使用ARF患者的交互式数字孪生体进行在床边的在线评估。我们的结果表明，T-CQL consistently优于现有的离线RL最新方法，提供更安全、更有效的通气调整。该框架表明，Transformer基模型结合保守RL策略作为关键护理中的决策支持工具具有潜力。
关键词
引用
@article{arxiv.2603.11372,
title = {Ensuring Safety in Automated Mechanical Ventilation through Offline Reinforcement Learning and Digital Twin Verification},
author = {Hang Yu and Huidong Liu and Qingchen Zhang and William Joy and Kateryna Nikulina and Andreas A. Schuppert and Sina Saffaran and Declan Bates},
journal= {arXiv preprint arXiv:2603.11372},
year = {2026}
}