我们实现个性化了吗？基于重采样的在线强化学习算法个性化评估
机器学习
2023-08-08 v6 应用统计
统计方法学
机器学习
摘要
在数字健康领域，利用强化学习（RL）来个性化治疗序列以支持用户养成更健康行为的兴趣日益增长。此类序贯决策问题涉及基于用户情境（例如先前的活动水平、位置等）来决定何时治疗以及如何治疗。在线RL是一种有前景的数据驱动方法，它基于每位用户的历史响应进行学习，并利用这些知识来个性化这些决策。然而，为了决定是否将该RL算法纳入实际部署的“优化”干预措施中，我们必须评估数据证据，以表明该RL算法确实在为其用户个性化治疗。由于RL算法中的随机性，人们可能会误以为它在某些状态下进行学习并利用该学习提供特定治疗。我们采用个性化的一个工作定义，并引入一种基于重采样的方法来探究RL算法所表现出的个性化是否为该算法随机性的假象。我们通过分析一项名为HeartSteps的体力活动临床试验数据（其中使用了在线RL算法）以案例研究说明了我们的方法。我们展示了我们的方法如何增强算法个性化在数据驱动上的“广告真实性”，既包括所有用户层面，也包括研究中特定用户内部。
引用
@article{arxiv.2304.05365,
title = {Did we personalize? Assessing personalization by an online reinforcement learning algorithm using resampling},
author = {Susobhan Ghosh and Raphael Kim and Prasidh Chhabria and Raaz Dwivedi and Predrag Klasnja and Peng Liao and Kelly Zhang and Susan Murphy},
journal= {arXiv preprint arXiv:2304.05365},
year = {2023}
}
备注
The first two authors contributed equally