强化学习中的抽象理论
机器学习
2022-03-02 v1 人工智能
摘要
强化学习定义了智能体仅通过行动和观察来学习做出良好决策所面临的问题。要成为有效的问题求解者，此类智能体必须高效探索广阔的世界，从延迟反馈中分配功劳，并泛化到新的经验，同时利用有限的数据、计算资源和感知带宽。抽象对于所有这些努力都至关重要。通过抽象，智能体可以形成其环境的简洁模型，以支持理性、自适应决策者所需的诸多实践。在本论文中，我提出了一种强化学习中的抽象理论。我首先为执行抽象过程的函数提出三个目标：它们应 1) 保持对近最优行为的表示，2) 能被高效地学习和构建，以及 3) 降低规划或学习时间。然后，我提出了一套新的算法和分析，阐明了智能体如何能够根据这些目标来学习抽象。总体而言，这些结果为发现和使用抽象以最小化有效强化学习的复杂性提供了一条部分路径。
引用
@article{arxiv.2203.00397,
title = {A Theory of Abstraction in Reinforcement Learning},
author = {David Abel},
journal= {arXiv preprint arXiv:2203.00397},
year = {2022}
}