具有记忆条件的学习分类器系统用于解决非马尔可夫问题
神经与进化计算
2014-11-06 v1 人工智能
摘要
在学习分类器系统家族中，XCS 分类器系统已成功应用于众多场景。然而，标准 XCS 缺乏记忆机制，仅能在马尔可夫环境中学习最优策略，即最优动作完全由当前感官输入的状态决定。在实践中，大多数环境对于智能体的感知而言是部分可观测环境，亦称为非马尔可夫环境。在这些环境中，由于缺乏记忆，XCS 要么失效，要么仅能开发出次优策略。本文基于 XCS 开发了一种新的分类器系统以解决此问题。该系统向 XCS 添加了一个内部消息列表作为记忆列表，用于记录输入感官历史，并扩展了少量具有记忆条件的分类器。分类器的记忆条件作为消除非马尔可夫状态歧义的立足点，用于感知记忆列表中的指定元素。此外，采用了一种检测方法来识别环境中的非马尔可夫状态，以避免这些状态主导分类器的记忆条件。此外，所提出的方法在四组不同的复杂迷宫环境中进行了测试。实验结果表明，与一些针对此类环境提出的知名分类器系统相比，我们的系统是解决部分可观测环境的最佳技术之一。
引用
@article{arxiv.1211.0424,
title = {Learning classifier systems with memory condition to solve non-Markov problems},
author = {Zhaoxiang Zang and Dehua Li and Junying Wang},
journal= {arXiv preprint arXiv:1211.0424},
year = {2014}
}
备注
34 pages, 15 figures, 1 table