PI-ARS：利用预测信息表征加速进化学习的视觉-运动控制
机器人学
2022-07-28 v1 人工智能
机器学习
摘要
进化策略（ES）算法因具备大规模并行能力、实现简单、参数空间探索有效及训练快速，在训练复杂机器人控制策略上展现出良好前景。然而，ES的一个关键局限在于其对大容量模型（包括现代神经网络架构）的可扩展性。本工作中，我们提出预测信息增强随机搜索（PI-ARS）以缓解该局限，借助近期表征学习进展缩减ES的参数搜索空间。具体而言，PI-ARS将基于梯度的表征学习技术——预测信息（PI）与无梯度的ES算法——增强随机搜索（ARS）相结合，以训练能处理复杂机器人感官输入并应对高度非线性机器人动力学的策略。我们在一组具挑战性的视觉-运动任务上评估PI-ARS，包括四足机器人需在崎岖踏脚石、梅花桩和移动平台上行走，以及完成室内导航任务。在所有任务中，PI-ARS相较ARS基线均展现出显著更优的学习效率与性能。我们进一步验证算法，证明所学策略可成功迁移至真实四足机器人，例如在真实踏脚石环境中达到100%成功率，大幅改进先前40%成功率的成果。
引用
@article{arxiv.2207.13224,
title = {PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations},
author = {Kuang-Huei Lee and Ofir Nachum and Tingnan Zhang and Sergio Guadarrama and Jie Tan and Wenhao Yu},
journal= {arXiv preprint arXiv:2207.13224},
year = {2022}
}
备注
To appear at IROS 2022. The supplementary video is available at https://kuanghuei.github.io/piars