用于帕金森病治疗深部脑刺激的 $\epsilon$-神经 Thompson 采样

深部脑刺激（DBS）是缓解帕金森病（PD）运动症状的有效干预手段。传统的商用 DBS 设备只能向大脑基底节（BG）区域输送固定频率的周期性脉冲，即连续 DBS（cDBS）。然而，它们通常存在能源效率低下和副作用（如言语障碍）等问题。最近的研究集中于自适应 DBS（aDBS）以解决 cDBS 的局限性。具体而言，基于强化学习（RL）的方法已被开发用于调整刺激频率，以同时实现能源效率和治疗效果。然而，RL 方法通常需要大量的训练数据和计算资源，使得将 RL 策略集成到 aDBS 所需的实时嵌入式系统中变得不可行。相比之下，上下文多臂老虎机（CMAB）通常比 RL 具有更好的样本效率。在本研究中，我们提出了一种用于 aDBS 的 CMAB 解决方案。具体而言，我们将上下文定义为捕捉 BG 区域不规则神经元放电活动的信号（即 Beta 频段功率谱密度），而每个臂代表刺激的（离散化）脉冲频率。此外，在经典 Thompson 采样方法之上引入了一种 $\epsilon$-探索策略，从而形成一种称为 $\epsilon$-神经 Thompson 采样（$\epsilon$-NeuralTS）的算法，使得学习到的 CMAB 策略能更好地平衡 BG 环境的探索与利用。$\epsilon$-NeuralTS 算法使用一个计算 BG 模型进行评估，该模型捕捉了 PD 患者大脑中的神经元活动。结果表明，我们的方法优于现有的 cDBS 方法和 CMAB 基线。