反事实奖励促进微型机器人群体的集体运输

群体机器人为实现超越单个机器人能力的复杂任务提供了迷人机会。正如蚂蚁群体协同搬动大型物体一样，机器人群体也可通过基于局部感知的个体策略涌现出类似功能。然而，针对微型机器人实现集体功能尤其具有挑战性，因为其微米尺寸、大量自由度、相对于推进速度的强热力噪声、邻近微型机器人之间的复杂物理耦合以及表面碰撞。本文实现了多智能体强化学习（MARL）以为最多 200 个微型机器人生成控制策略，其运动由激光斑点 individually 控制。学习过程中，我们采用所谓反事实奖励（counterfactual rewards），自动为个体微型机器人分配信用，从而实现快速且无偏的训练。凭借这一高效奖励方案，群体微型机器人学习了将大型货物运输至任意位置和姿态的能力，类似于蚂蚁群体。我们展示了该灵活且通用的群体机器人系统对群体规模变化、故障单元的存在以及环境噪声具有鲁棒性。此类控制策略可能为实现复杂的微米机械装配、可编程药物递送胶囊以及其他先进的微流控应用提供可能。