基于多步逆运动学的表示学习：一种高效最优的富观测强化学习方法
机器学习
2023-04-13 v1 人工智能
摘要
我们研究在存在丰富高维观测（通过 Block MDP 问题形式化）的强化学习中样本高效算法的设计。现有算法存在以下其一的问题：1) 计算难处理，2) 不一定在实践中满足的强统计假设，或 3) 次优的样本复杂度。我们通过提供首个计算高效且能达到关于期望精度级别的最优样本复杂度、并具有最小统计假设的算法来解决这些问题。我们的算法 MusIK 将系统性探索与基于多步逆运动学的表示学习相结合，该学习目标旨在从当前观测与（可能遥远的）未来观测中预测学习器自身的动作。MusIK 简单且灵活，并能高效利用通用函数逼近。我们的分析利用了几种专为非乐观探索算法量身定制的新技术，我们预计这些技术将得到更广泛的应用。
引用
@article{arxiv.2304.05889,
title = {Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL},
author = {Zakaria Mhammedi and Dylan J. Foster and Alexander Rakhlin},
journal= {arXiv preprint arXiv:2304.05889},
year = {2023}
}