用于抑制闭环深部脑刺激器中同步化的新型强化学习算法
机器学习
2023-01-02 v2 人工智能
系统与控制
系统与控制
神经元与认知
摘要
帕金森病以大脑中病理性振荡放电特征的改变和增强为标志。换言之，它在神经处理过程中引发异常同步振荡与抑制。为检测并调节运动环路中的同步与病理性振荡，使用深部脑刺激器(DBS)。尽管机器学习方法已应用于抑制研究，但这些模型需要大量训练数据与计算力，二者对资源受限的DBS均构成挑战。本研究提出一种新型强化学习(RL)框架，以更低功耗抑制神经疾病发作期间的神经元活动同步化。所提RL算法由刺激的时间表示集成与双延迟深度确定性(TD3)策略梯度算法组成。针对规则、混沌和爆发三种病理信号态，我们利用RL量化所提框架对噪声与同步降低的稳定性，并进一步消除不良振荡。此外，采用评估奖励、供给集成的能量和收敛均值等指标，并与其他RL算法——特别是优势 actor-critic (A2C)、带Kronecker特征信任域的actor-critic (ACKTR)和近端策略优化(PPO)——进行比较。
引用
@article{arxiv.2212.13260,
title = {Novel Reinforcement Learning Algorithm for Suppressing Synchronization in Closed Loop Deep Brain Stimulators},
author = {Harsh Agarwal and Heena Rathore},
journal= {arXiv preprint arXiv:2212.13260},
year = {2023}
}
备注
Accepted at the 11th International IEEE EMBS Conference on Neural Engineering, 2023 (NER'23)