基于内省的可解释强化学习在情节与非情节场景中的应用
机器人学
2022-11-24 v1 人工智能
摘要
随着当今社会中机器人系统与人机环境的日益普及，理解机器人所采取行为背后的推理过程变得愈发重要。为增进这种理解，系统会向用户解释为何采取某一特定动作。除其他效果外，这些解释提升了用户对机器人伙伴的信任。生成此类解释的一种方案是基于内省的方法，该方法可与强化学习智能体结合使用，以提供成功概率。这些概率进而可用于以人类可理解的方式对智能体所采取的动作进行推理。在本工作中，该基于内省的方法在一项情节性与一项非情节性机器人仿真任务的基础上得到进一步开发与评估。此外，提出了一种针对 Q 值的额外归一化步骤，使得该基于内省的方法能够应用于负值及相对较小的 Q 值。所得结果表明，内省对于情节性机器人任务是可行的，并且该基于内省的方法还可用于为非情节性机器人环境中的动作生成解释。
引用
@article{arxiv.2211.12930,
title = {Introspection-based Explainable Reinforcement Learning in Episodic and Non-episodic Scenarios},
author = {Niclas Schroeter and Francisco Cruz and Stefan Wermter},
journal= {arXiv preprint arXiv:2211.12930},
year = {2022}
}