从双足行走的符号行为描述中推导强化学习奖励
机器人学
2023-12-19 v1 机器学习
计算机科学中的逻辑
摘要
从其符号描述生成物理运动行为是人工智能 (AI) 和机器人技术中长期存在的挑战，需要深入了解数值优化方法以及符号 AI 和推理的形式化。本文提出了一种从符号描述中寻找奖励函数的新方法。预期的系统行为被建模为混合自动机，从而减少系统状态空间以实现更高效的强化学习。该方法应用于双足行走，通过将行走机器人建模为状态空间象限上的混合自动机，并与指南针行者 (compass walker) 一起使用，以推导出激励遵循混合自动机周期的奖励。结果是，强化了学习控制器的训练时间减少了，同时最终行走速度提高了。该方法可作为如何从符号 AI 和推理生成奖励函数的蓝图。
引用
@article{arxiv.2312.10328,
title = {Deriving Rewards for Reinforcement Learning from Symbolic Behaviour Descriptions of Bipedal Walking},
author = {Daniel Harnack and Christoph Lüth and Lukas Gross and Shivesh Kumar and Frank Kirchner},
journal= {arXiv preprint arXiv:2312.10328},
year = {2023}
}
备注
To appear in 62nd IEEE Conference on Decision and Control (CDC). For supplemental material, see here https://dfki-ric-underactuated-lab.github.io/orthant_rewards_biped_rl/