数字孪生驱动的机器人机械臂避障强化学习：一种自我改进的在线训练框架

协作机器人的演进和日益增长的自动化给系统引入了更多的复杂性和不可预测性，凸显了机器人适应性和灵活性对于应对其环境日益增加的复杂性的关键需求。在典型的工业生产场景中，当面临更高要求的任务甚至工作空间条件的少许变化时，机器人通常需要重新编程。为了提高生产力和效率，并减少设计过程中的人力投入，本文探索了将数字孪生与强化学习（RL）相结合的潜力，使机器人能够实时生成自我改进的无碰撞轨迹。数字孪生作为物理系统的虚拟对应物，以安全且具有成本效益的方式作为监控、控制和优化物理系统的“正向运行”。物理系统通过来自摄像头的视频流发送数据以同步数字系统，使虚拟机器人能够根据真实场景更新其观察和策略。数字系统与物理系统之间的双向通信为硬件在环 RL 训练提供了一个有前景的平台，通过不断试错直到机器人成功适应其新环境。所提出的在线训练框架在 Unfactory Xarm5 协作机器人上进行了演示，其中机器人末端执行器旨在到达目标位置的同时避开障碍物。实验表明，所提出的框架能够执行策略在线训练，且仍有显著的改进空间。