针对帕金森病脑刺激的样本高效强化学习控制器

脑刺激（DBS）是帕金森病（PD）的一种既定干预手段，但传统的开环系统缺乏适应性，因持续刺激而能源低效，且对个体神经动力学提供的个人化程度有限。适应性脑刺激（aDBS）提供了一种闭环替代方案，通过利用 beta 带振荡等生物标志物动态调节刺激。尽管强化学习（RL）在个性化 aDBS 控制方面具有潜力，但现有方法 suffer from 样本复杂度高、在二元动作空间中探索不稳定以及在资源受限硬件上可部署性差。我们提出了 SEA-DBS，一个样本高效的 actor-critic 框架，以解决 RL 基于自适应神经刺激的核心挑战。SEA-DBS 集成了预测奖励模型以减少对实时反馈的依赖，并采用 Gumbel Softmax 基于的探索，以实现二元动作空间中稳定、可微分的策略更新。这些组件共同提高了样本效率、探索鲁棒性以及与资源受限神经调制硬件的兼容性。我们在帕金森性基底神经节活动的生物学真实仿真环境中评估了 SEA-DBS，展示了更快的收敛速度、更强的病理 beta 带功率抑制作用以及对 post-training FP16 量化的鲁棒性。我们的结果表明，SEA-DBS 提供了一个实用且有效的 RL 基于 aDBS 框架，可用于实时、资源受限的神经调制。