通过优先记忆重置学习使用不同尺寸材料进行设计与建造
机器人学
2022-04-13 v1 人工智能
摘要
机器人能否在没有蓝图的情况下自主学会用不同尺寸的块体设计与建造桥梁？这是一项具有长视野与稀疏奖励的挑战性任务——机器人必须找出物理稳定的设计方案以及用于操控和搬运块体的可行动作。由于块体尺寸多样，状态空间与动作轨迹极为庞大难以探索。本文中，我们针对该问题提出一种分层方法。它由一个强化学习设计器（提出高层建造指令）与一个基于运动规划的动作生成器（底层操控块体）组成。对于高层学习，我们开发了一种新技术，优先记忆重置 (PMR) 以改进探索。PMR 自适应地将状态重置为来自回放缓冲区中最关键的构型，使机器人能从部分架构恢复训练而非从零开始。此外，我们用辅助训练目标增强 PMR，并用运动生成器微调设计器。我们在仿真与真实部署的机器人系统上的实验表明，它能够以高成功率用不同尺寸的块体有效建造桥梁。演示见 https://sites.google.com/view/bridge-pmr。
引用
@article{arxiv.2204.05509,
title = {Learning Design and Construction with Varying-Sized Materials via Prioritized Memory Resets},
author = {Yunfei Li and Tao Kong and Lei Li and Yi Wu},
journal= {arXiv preprint arXiv:2204.05509},
year = {2022}
}
备注
To be published in ICRA 2022