具有聚类数据的广义拟合Q迭代
机器学习
2025-10-07 v1
摘要
本文聚焦于处理具有聚类数据的强化学习（RL），这在医疗保健应用中常见。我们提出一种集成广义估计方程（GEE）到策略学习中的广义拟合Q迭代（FQI）算法，以处理簇内相关性。理论上，我们证明了（i）当相关结构正确指定时，Q函数和策略估计量的最优性，以及（ii）当结构被误指定时的一致性。实验上，通过仿真实验和移动健康数据集的分析，我们发现所提出的广义FQI平均可实现对标准FQI的一半 regret 减少。
引用
@article{arxiv.2510.03912,
title = {Generalized Fitted Q-Iteration with Clustered Data},
author = {Liyuan Hu and Jitao Wang and Zhenke Wu and Chengchun Shi},
journal= {arXiv preprint arXiv:2510.03912},
year = {2025}
}