安全强化学习在分布迁移下的安全性概括：一种糖尿病测试平台
机器学习
2026-05-26 v2 人工智能
系统与控制
系统与控制
摘要
安全强化学习（RL）算法通常在固定的训练条件下进行评估。我们利用糖尿病管理作为安全关键测试平台，研究训练时的安全保证是否在分布迁移的部署环境中 transfer 到。我们对安全 RL 算法在统一的临床模拟器上进行基准测试，发现存在安全性概括间隙：在训练时满足约束条件的策略在不可见患者群体上经常违反安全要求。我们演示了测试时的防护措施，即使用学习的动态模型过滤不安全动作，能够在不同算法和患者群体之间有效恢复安全性。在八种安全 RL 算法、三种糖尿病类型和三年龄组中，防护措施为强基线如 PPO-Lag 和 CPO 带来 13-14% 的 Time-in-Range 收益，同时降低临床风险指数和血糖波动性。我们的模拟器和基准平台为研究安全关键控制领域下的分布迁移下的安全性提供了平台。代码可在 https://github.com/safe-autonomy-lab/GlucoSim 和 https://github.com/safe-autonomy-lab/GlucoAlg 查阅。
引用
@article{arxiv.2601.21094,
title = {Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed},
author = {Minjae Kwon and Josephine Lamp and Lu Feng},
journal= {arXiv preprint arXiv:2601.21094},
year = {2026}
}
备注
Accepted at ICML 2026. Camera-ready version