用于启动以人为中心的实验设计的离线策略选择
机器学习
2024-10-29 v1 人工智能
人机交互
摘要
在医疗保健和教育等以人为中心的任务中，患者和学生之间的异质性需要个性化的治疗和教学干预。尽管强化学习（RL）已被用于这些任务中，但离线策略选择（OPS）对于闭环至关重要，它通过在没有在线交互的情况下离线评估和选择策略来闭合环路，然而当前的 OPS 方法往往忽略了参与者之间的异质性。我们的工作以解决以人为中心的系统（HCSs）中的一个关键挑战为中心：当新参与者加入队列时，在无法获得该参与者任何先前收集的离线数据的情况下，如何选择要部署的策略？我们引入了 First-Glance Off-Policy Selection（FPS），这是一种新颖的方法，通过子组分割和为每个子组量身定制的 OPS 标准，系统地解决参与者异质性问题。通过将具有相似特征的个体分组，FPS 促进了符合每个参与者或参与者群体独特特征的个性化策略选择。FPS 通过两个重要但具有挑战性的应用进行评估：智能辅导系统和用于脓毒症治疗与干预的医疗保健应用。FPS 在提高学生学习成果和院内护理成果方面展现了显著进步。
引用
@article{arxiv.2410.20017,
title = {Off-Policy Selection for Initiating Human-Centric Experimental Design},
author = {Ge Gao and Xi Yang and Qitong Gao and Song Ju and Miroslav Pajic and Min Chi},
journal= {arXiv preprint arXiv:2410.20017},
year = {2024}
}