通过无需重置的层次化强化学习实现微型机器人趋化性
软凝聚态物质
2024-08-15 v1 生物物理
摘要
微生物在粘性流体中推进、导航复杂环境以及对刺激做出趋性反应的能力演化出了多种策略。这启发了合成微型机器人的发展，其中机器学习（ML）正发挥越来越重要的作用。机器学习能否赋予这些机器人类似于其自然对应物在进化时间尺度上发展出的智能？在这里，我们展示了利用两级层次化强化学习（RL）实现多连杆铰接微型机器人的趋化导航。下层RL使机器人——具有链式或环形拓扑结构——能够获取拓扑特异性的游泳步态：类似鞭毛的波动传播或类似变形虫的身体振荡。这种鞭毛驱动和变形虫驱动的微型游泳器在更高层RL的进一步赋能下，在典型的生物学相关场景中完成了趋化导航，这些场景包括冲突的化学吸引物、追踪游泳细菌模拟物、在涡流中转向以及挤过狭窄约束。此外，我们实现了无需重置的部分可观测RL，机器人仅观测其关节角度和局部标量量。这一进展为克服真实世界微型机器人RL中持续存在的手动重置和部分可观测性挑战提供了解决方案。
引用
@article{arxiv.2408.07346,
title = {Enabling microrobotic chemotaxis via reset-free hierarchical reinforcement learning},
author = {Tongzhao Xiong and Zhaorong Liu and Chong Jin Ong and Lailai Zhu},
journal= {arXiv preprint arXiv:2408.07346},
year = {2024}
}