在真实世界机器人任务上检验决策树的迭代训练

在先前研究中，我们开发了基于深度强化学习（DRL）网络训练决策树（DT）作为强化学习任务智能体的方法。构建 DT 的样本以环境状态为特征，以对应动作为标签。为了解决选择样本这一非平凡任务——这些样本一方面反映 DRL 智能体选择正确动作的能力，另一方面也覆盖足够的状态空间以实现良好泛化——我们开发了一种迭代训练 DT 的算法。在本短文中，我们首次将该算法应用于真实世界机器人任务的实现。真实世界任务相比仿真面临额外挑战，如噪声和延迟。该任务由连接到小车的物理摆组成，小车沿线性轨道移动。通过向左和向右移动，摆需被摆至竖直位置并在不稳定平衡点处保持平衡。我们的结果表明该算法可应用于真实世界任务，生成的 DT 在性能上与 DRL 智能体匹配，同时参数更少。本研究可作为从 DRL 智能体中蒸馏 DT 以获得透明、轻量模型用于真实世界强化学习任务的起点。