解析强化学习智能体中记忆的复杂性:一种分类与评估方法

在强化学习(RL)领域的众多任务中,将记忆融入智能体至关重要。特别是,对于需要利用过去信息、适应新环境以及提高样本效率的任务,记忆至关重要。然而,“记忆”一词涵盖了广泛的概念,加之缺乏统一的智能体记忆验证方法,导致对智能体记忆能力的错误判断,并阻碍了与其他记忆增强型智能体进行客观比较。本文旨在通过借鉴认知科学,为智能体记忆类型(如长期记忆与短期记忆、陈述性记忆与程序性记忆)提供实用的精确分类,从而简化RL中记忆的概念。基于这些定义,我们对不同类别的智能体记忆进行分类,提出一种用于评估RL智能体记忆能力的稳健实验方法,并标准化评估流程。此外,我们通过对不同RL智能体进行实验,实证证明了在评估不同类型的智能体记忆时遵循所提方法的重要性,以及违反该方法会带来的后果。