使用PCA高效表示状态空间
机器学习
2015-06-04 v2 机器人学
摘要
强化学习算法在探索高维空间中的最优控制时，需要处理状态和动作的指数级增长。这被称为维度灾难。通过将智能体的状态投影到低维流形上，我们可以用更小且更高效的表示来表征状态空间。通过在学习中使用该表示，智能体可以更快地收敛到良好的策略。我们在Mario基准测试领域测试了该方法。在Mario中使用维度约简时，学习能更快地收敛到良好策略。但是，存在关键的收敛-性能权衡。通过投影到低维流形，我们忽略了重要数据。本文探讨了这种收敛与性能的权衡。我们发现，仅在4维（而非9维）中学习，就能以更快的收敛速度获得超越全维度空间学习的性能。
引用
@article{arxiv.1505.00322,
title = {Using PCA to Efficiently Represent State Spaces},
author = {William Curran and Tim Brys and Matthew Taylor and William Smart},
journal= {arXiv preprint arXiv:1505.00322},
year = {2015}
}