COOL-MC：验证与解释针对血小板库存管理的强化学习策略
人工智能
2026-03-04 v1 机器学习
摘要
血小板在五天内即过期。血库面临每日需求不确定，必须在因过库存导致的高额浪费成本和因缺库导致的致命短缺之间进行订购决策平衡。强化学习(RL)可学习有效的订购策略以解决此马尔可夫决策过程(MDP)，但所得神经网络策略仍是黑箱，阻碍在安全关键领域的信任和采纳。我们应用 COOL-MC 工具，将 RL 与概率模型检查和可解释 RL 结合，用于验证和解释受 Haijema 等人启发的血小板库存管理 MDP 上的训练策略。通过构建仅包含训练策略可达状态的离散时序马尔可夫链(以减少内存占用)，我们验证 PCTL 属性并提供特征层面的解释。结果表明，训练策略在 200 步的视野内实现 2.9% 的缺货概率和 1.1% 的库存满(潜在浪费)概率，主要关注库存年龄分布，而非其他特征如星期几或待定订单。行动可达性分析揭示，策略采用多样化的补货策略，大多数订购数量很快即被到达，而有几个从未被选中。反事实分析表明，用较小的订单取代中大型订单，两种安全概率几乎不变，表明这些订单是在高度缓冲的库存状态中下单。该工作首次对 RL 血小板库存管理策略进行形式化验证与解释，展示了 COOL-MC 在安全关键医疗保健供应链领域透明、可审计决策中的价值。
引用
@article{arxiv.2603.02396,
title = {COOL-MC: Verifying and Explaining RL Policies for Platelet Inventory Management},
author = {Dennis Gross},
journal= {arXiv preprint arXiv:2603.02396},
year = {2026}
}