带删失数据的Q学习

我们开发了一种处理具有灵活阶段数的多阶段决策问题的方法，其中奖励是受删失影响的生存时间。我们提出了一种新颖的Q学习算法，针对删失数据进行了调整，并允许灵活的阶段数。我们提供了算法所学策略的泛化误差的有限样本界，并表明当最优Q函数属于近似空间时，算法所得策略的期望生存时间收敛到最优策略的期望生存时间。我们模拟了一个具有灵活阶段数的多阶段临床试验，并应用所提出的删失Q学习算法来寻找个体化治疗方案。本文提出的方法对癌症及其他危及生命的疾病个性化医学试验的设计具有意义。