具有情节回报进展的双向渐进神经网络用于涌现式任务排序与机器人技能迁移
机器人学
2025-01-10 v1 人工智能
机器学习
摘要
人类大脑和行为为机器人学提供了丰富的灵感来源，可激发 novel 的控制和学习方法。为了通过启发人类如何获取知识并在任务间迁移技能来 exemplify 此类发展，我们引入了一种名为“具有双向渐进神经网络的情节回报进展”(ERP-BPNN) 的新型多任务强化学习框架。提出的 ERP-BPNN 模型 (1) 以类人的交错方式进行学习，(2) 基于一种新型内在动机信号自主切换任务，并且与现有方法相比，(3) 允许任务间的双向技能迁移。ERP-BPNN 是一种适用于多种多任务学习设置的通用架构；在本文中，我们展示了其神经架构的细节，并证明了其在到达任务中 enabling 形态不同的机器人之间有效学习和技能迁移的能力。开发的双向渐进神经网络 (BPNN) 架构无需增量训练即可实现双向技能迁移，并能与在线任务仲裁无缝集成。所开发的任务仲裁机制基于软情节回报进展 (ERP)，这是一种新型内在动机 (IM) 信号。为了评估我们的方法，除了强化学习中常见的基于回报的情节回报度量外，我们还使用了可量化的机器人学指标，如“预期到达目标距离”和“路径直度”。仿真实验表明，与基线方法相比，ERP-BPNN 在形态不同的机器人中实现了更快的累积收敛，并改善了所有考虑指标的性能。
引用
@article{arxiv.2403.04001,
title = {Bidirectional Progressive Neural Networks with Episodic Return Progress for Emergent Task Sequencing and Robotic Skill Transfer},
author = {Suzan Ece Ada and Hanne Say and Emre Ugur and Erhan Oztop},
journal= {arXiv preprint arXiv:2403.04001},
year = {2025}
}
备注
9 pages, 5 figures