IntelligentPooling：用于移动健康的实用 Thompson 采样
机器学习
2020-12-15 v2 计算机与社会
机器学习
摘要
在移动健康（mHealth）中，智能设备随时间反复向用户交付行为治疗，旨在帮助用户采纳并维持健康行为。强化学习看似理想用于学习如何最优地做出这些序贯治疗决策。然而，在强化学习能有效部署于移动医疗环境前，必须克服重大挑战。本工作关注以下挑战：1）处于相同情境的个体对治疗可表现出差异化响应；2）任一个体上可用于学习的数据量有限；3）对治疗响应的非平稳性。为应对这些挑战，我们推广 Thompson 采样 bandit 算法以开发 IntelligentPooling。IntelligentPooling 学习个性化治疗策略，从而应对挑战一。为应对第二挑战，IntelligentPooling 在更新每用户个性化程度的同时，利用其他用户的可用数据加速学习。最后，IntelligentPooling 允许响应性作为用户开始治疗后时间的函数而变化，从而应对挑战三。我们展示 IntelligentPooling 相较最先进方法实现了平均 26% 更低的 regret。我们在一项现场临床试验中证明了该方法的潜力及其即便从小规模用户群中学习的能力。
引用
@article{arxiv.2008.01571,
title = {IntelligentPooling: Practical Thompson Sampling for mHealth},
author = {Sabina Tomkins and Peng Liao and Predrag Klasnja and Susan Murphy},
journal= {arXiv preprint arXiv:2008.01571},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:2002.09971