大结构化动作空间中的强化学习：脊髓损伤康复决策支持的仿真研究
机器学习
2023-10-24 v1
摘要
强化学习（RL）已在若干应用中帮助改进决策。然而，在一些应用中应用传统 RL 颇具挑战，例如脊髓损伤（SCI）患者的康复。除其他因素外，在该领域使用 RL 之所以困难，是因为存在许多可能的治疗手段（即大动作空间）且患者很少（即训练数据有限）。SCI 的治疗具有自然的分组特性，因此我们提出两种对治疗进行分组的方法，以使 RL 智能体能够从有限数据中有效学习。一种依赖于 SCI 康复的领域知识，另一种使用嵌入技术学习治疗之间的相似性。我们随后使用 Fitted Q Iteration 训练一个学习最优治疗的智能体。通过一项旨在反映 SCI 康复特性的仿真研究，我们发现两种方法均有助于改善理疗师的治疗决策，但基于领域知识的方法具有更好的性能。我们的发现提供了一种“概念验证”，即 RL 可用于帮助改善 SCI 患者的治疗，并表明持续努力收集数据并将 RL 应用于该领域是值得的。
引用
@article{arxiv.2310.14976,
title = {Reinforcement learning in large, structured action spaces: A simulation study of decision support for spinal cord injury rehabilitation},
author = {Nathan Phelps and Stephanie Marrocco and Stephanie Cornell and Dalton L. Wolfe and Daniel J. Lizotte},
journal= {arXiv preprint arXiv:2310.14976},
year = {2023}
}
备注
31 pages, 7 figures