在重力作用下的物体操控强化学习中：课程学习的影响远超触觉信息
机器人学
2024-07-16 v1 人工智能
机器学习
摘要
学习通过指尖提升和旋转物体是实现自主手中灵巧操控的必要条件。本研究探讨了 various factors 对成功学习策略的影响。具体而言，我们研究了课程学习和触觉反馈在促进灵巧操控学习中的作用。采用无模型的强化学习方法，我们比较了不同的课程安排和两种触觉信息模式（无触觉 vs. 3D 力感知），实现对重力方向上提升和旋转一个球体的学习，该球体由三个手指的仿真机器人手臂操作，且无视觉输入。值得注意的是，当我们采用一种新型的基于课程的学习率调度器时获得最佳结果，该调度器会根据奖励变化调整线性衰减的学习率，从而加快收敛至更高奖励。我们的发现表明，课程安排的选择对获取灵巧操控的不同特征具有显著偏导作用。令人惊讶的是，即使在没有触觉反馈的情况下也可以实现成功学习，这挑战了关于触觉信息对灵巧操控任务是否必需的常规观念。我们展示了该方法对不同重量和尺寸的球体的可推广性，凸显了学习方法的鲁棒性。该工作因此强调了课程选择的重要性，并挑战了关于在无人情况下学习手中灵巧操控是否需要触觉信息的长期观念。
引用
@article{arxiv.2407.09986,
title = {Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity},
author = {Pegah Ojaghi and Romina Mir and Ali Marjaninejad and Andrew Erwin and Michael Wehner and Francisco J Valero-Cueva},
journal= {arXiv preprint arXiv:2407.09986},
year = {2024}
}