用于可解释强化学习的匹兹堡学习分类器系统: 与XCS的比较
机器学习
2023-05-18 v1 人工智能
神经与进化计算
摘要
由于深度学习技术的应用,对强化学习(RL)的兴趣近期激增,但这些连接主义方法相比符号系统是不透明的。学习分类器系统(LCS)是进化机器学习系统,因其基于规则的特性可被归类为可解释AI(XAI)。密歇根型LCS常用于RL领域,因为作为替代的匹兹堡型系统(如SAMUEL)存在算法设计复杂与计算需求高的问题;然而它们能比密歇根型系统产生更紧凑/可解释的解决方案。我们旨在开发两种新型匹兹堡型LCS以应对RL领域: PPL-DL与PPL-ST。前者充当“零层”系统,后者重温SAMUEL用于估计规则强度的核心蒙特卡洛学习机制。我们在确定性与随机性FrozenLake环境中将两种匹兹堡系统与密歇根系统XCS比较。结果显示,PPL-ST表现与PPL-DL相当或更好,并在高度环境不确定性下优于XCS。PPL-ST进化的规则集可比XCS进化的规则集达到更高性能,但以更简洁因而更具可解释性的方式,尽管计算成本更高。这表明PPL-ST是一种非常适于在RL领域产生可解释策略的LCS。
引用
@article{arxiv.2305.09945,
title = {Pittsburgh Learning Classifier Systems for Explainable Reinforcement Learning: Comparing with XCS},
author = {Jordan T. Bishop and Marcus Gallagher and Will N. Browne},
journal= {arXiv preprint arXiv:2305.09945},
year = {2023}
}