相关决斗赌博机及其在大决策空间临床治疗中的应用
机器学习
2017-07-11 v1
摘要
我们考虑在不确定性下的序贯决策，目标是在大决策空间中使用带噪声的比较反馈进行优化。该问题可表述为K臂决斗赌博机问题，其中K是决策总数。当K非常大时，现有决斗赌博机算法在收敛到最优臂之前会遭受巨大的累积遗憾。本文研究具有大量臂且呈现低维相关结构的决斗赌博机问题。我们的问题源于大决策空间中的临床决策过程。我们提出了一种高效算法CorrDuel，它在临床治疗的大决策空间中优化探索/利用权衡。更广泛地说，我们的方法可应用于其他具有大规模结构化决策空间的序贯决策问题。我们推导了遗憾界，并在模拟实验以及一项治疗性脊髓刺激的现场临床试验中评估了性能。据我们所知，这是首次将在线学习算法应用于脊髓损伤治疗。我们的实验结果表明了该方法的有效性和效率。
引用
@article{arxiv.1707.02375,
title = {Correlational Dueling Bandits with Application to Clinical Treatment in Large Decision Spaces},
author = {Yanan Sui and Yisong Yue and Joel W. Burdick},
journal= {arXiv preprint arXiv:1707.02375},
year = {2017}
}