临床场景下的反事实引导离屏策略迁移
机器学习
2022-03-17 v3 机器学习
摘要
当将训练好的模型用于新的患者群体时，会遇到领域偏移，这在医疗 sequential decision making（序列决策）中带来重大挑战，因为目标领域可能既数据稀缺又存在混杂。在本文中，我们提出了一种通过用因果机制对底层生成过程建模来进行离屏策略迁移的方法。我们以原则性方式利用源领域的信息先验来增强目标领域中的反事实轨迹。我们展示了这如何在存在未观测混杂的情况下解决数据稀缺问题。我们采样过程的因果参数化保证了反事实量可以从稀缺的目标观测数据中估计，并保持直观的稳定性性质。目标领域的策略学习进一步通过 KL 散度由源策略正则化。通过在模拟脓毒症治疗任务上的评估，当“无未观测混杂”的假设被放宽时，我们的反事实策略迁移过程显著提升了所学治疗策略的性能。
引用
@article{arxiv.2006.11654,
title = {Counterfactually Guided Off-policy Transfer in Clinical Settings},
author = {Taylor W. Killian and Marzyeh Ghassemi and Shalmali Joshi},
journal= {arXiv preprint arXiv:2006.11654},
year = {2022}
}
备注
Will be published at the Conference for Health, Inference and Learning (CHIL) 2022, Camera Ready Version