基于最优性分析的XCSF在离散强化学习中的压缩
机器学习
2020-09-04 v1 机器学习
摘要
学习分类器系统（LCSs）是基于种群的预测系统，最初被设想为在强化学习（RL）环境中行动的智能体。这些系统可能遭受种群膨胀，因此适用于试图在种群规模与性能之间取得平衡的压缩技术。XCSF是一种被充分研究的LCS架构，在RL设定中充当Q函数逼近器。我们将XCSF应用于OpenAI Gym的FrozenLake8x8环境的确定性与随机性变体，并将其函数逼近误差与策略准确度同通过动态规划求解环境得到的最优Q函数与策略进行比较。随后我们引入一种新颖压缩算法（贪心生态位质量压缩——GNMC）并研究其在XCSF训练后种群上的作用。结果表明，在合适参数化下，GNMC保持甚至略微改善函数逼近误差，同时显著减小种群规模。策略准确度也得到合理保持，我们将该度量与迷宫类环境中常用的到达目标步数度量相联系，阐明这些度量互为补充而非竞争关系。
引用
@article{arxiv.2009.01476,
title = {Optimality-based Analysis of XCSF Compaction in Discrete Reinforcement Learning},
author = {Jordan T. Bishop and Marcus Gallagher},
journal= {arXiv preprint arXiv:2009.01476},
year = {2020}
}