基于多智能体深度强化学习的多种麻醉药物协同控制
系统与控制
2025-08-15 v1 系统与控制
摘要
在临床总静脉麻醉 (TIVA) 中实现个性化多种麻醉药物的自动化控制至关重要却又充满挑战。当前系统，包括靶控输注 (TCI) 和闭环系统，要么依赖相对静态的药代动力学/药代动力学 (PK/PD) 模型，要么仅关注单种麻醉药物的控制，限制了个性化和协同控制的实现。为此，我们提出一种新框架——价值分解多智能体深度强化学习 (VD-MADRL)。VD-MADRL 优化了两种麻醉药物（丙泊酚和百妥因）之间的协同控制。它采用马尔可夫游戏 (MG) 来识别异构智能体之间的最优动作。我们采用 various value function decomposition 方法以解决信用分配问题并增强协同控制。我们还引入了基于随机森林 (RF) 的多变量环境模型用于麻醉状态模拟。此外，一种数据重抽样和对齐技术确保了同步的轨迹数据。我们的实验在通用和胸腔手术数据集上表明，VD-MADRL 的性能优于人类经验，提高了剂量精确度并维持麻醉状态的稳定，为临床实践提供了巨大的价值。
关键词
引用
@article{arxiv.2504.04765,
title = {Multi-Agent Deep Reinforcement Learning for Multiple Anesthetics Collaborative Control},
author = {Huijie Li and Yide Yu and Si Shi and Anmin Hu and Jian Huo and Wei Lin and Chaoran Wu and Wuman Luo},
journal= {arXiv preprint arXiv:2504.04765},
year = {2025}
}