基于强化学习的个性化运动训练助手 (PEARL)：四臂随机对照试验结果
机器学习
2025-08-15 v1
摘要
持续的身体活动不足是一个重大的全球性健康挑战。移动健康 (mHealth) 干预，特别是即时自适应干预 (JITAIs)，为可扩展的、面向个性化的身体活动 (PA) 推广提供了有前景的途径。然而，在可扩展的同时整合稳健的行为科学，开发和评估此类干预的挑战方法论性问题。PEARL 研究是首个大规模、四臂随机对照试验，以评估一个以健康行为改变理论为依据的强化学习 (RL) 算法，以针对 Fitbit 应用中的 PA 鼓励的内容和时机进行个性化调整。我们招募并随机化了 13,463 名 Fitbit 用户分为四个研究臂：对照组、随机组、固定组和 RL 组。对照组未接收到任何鼓励。其他三个臂接收来自 155 条基于行为科学原则的鼓励。随机组接收随机选择的鼓励。固定组根据关于 PA 障碍的调查响应中的预设逻辑接收鼓励。RL 组接收来自自适应 RL 算法选择的鼓励。我们纳入了 7,711 名受试者进行主要分析（平均年龄 42.1 岁，女性占 86.3%，基线步数 5,618.2）。我们观察到从基线到 1 和 2 个月，RL 组的 PA 相对于所有其他组均有所增加。RL 组在 1 个月时相对于所有其他组的平均每日步数显著增加：对照组（+296 步，p=0.0002）、随机组（+218 步，p=0.005）和固定组（+238 步，p=0.002）。在 2 个月时，RL 组仍显著高于对照组（+210 步，p=0.0122）。广义估计方程模型也显示出 RL 组相对于对照组的每日步数持续显著增加（+208 步，p=0.002）。这些发现表明了面向 PA 的可扩展、以行为为导向的 RL 方法的潜力。
引用
@article{arxiv.2508.10060,
title = {A Personalized Exercise Assistant using Reinforcement Learning (PEARL): Results from a four-arm Randomized-controlled Trial},
author = {Amy Armento Lee and Narayan Hegde and Nina Deliu and Emily Rosenzweig and Arun Suggala and Sriram Lakshminarasimhan and Qian He and John Hernandez and Martin Seneviratne and Rahul Singh and Pradnesh Kalkar and Karthikeyan Shanmugam and Aravindan Raghuveer and Abhimanyu Singh and My Nguyen and James Taylor and Jatin Alla and Sofia S. Villar and Hulya Emir-Farinas},
journal= {arXiv preprint arXiv:2508.10060},
year = {2025}
}