基于深度后继特征的真正批量学徒学习
机器学习
2019-03-26 v1 机器学习
摘要
我们引入了一种新颖的学徒学习算法，以在离策略无模型 \emph{批量} 设定下学习专家的底层奖励结构。与需要动力学模型或获取额外数据进行在策略评估的现有方法不同，我们的算法仅需观测到的专家行为的批量数据。这种设定在现实世界任务中很常见——如医疗保健、金融或工业过程——在这些任务中不存在准确的模拟器或数据获取成本高昂。为了应对批量设定中的挑战，我们引入了深度后继特征网络 (DSFN) 来在离策略设定下估计特征期望，并引入了一个转移正则化模仿网络来产生近专家的初始策略和高效的特征表示。我们的算法在批量设定下的控制基准测试以及重症监护病房败血症管理的关键临床任务中均取得了优异的结果。
引用
@article{arxiv.1903.10077,
title = {Truly Batch Apprenticeship Learning with Deep Successor Features},
author = {Donghun Lee and Srivatsan Srinivasan and Finale Doshi-Velez},
journal= {arXiv preprint arXiv:1903.10077},
year = {2019}
}
备注
10 pages, 3 figures, Under Conference Review