强化学习实现模拟毛细血管中自主微型机器人导航与干预

在生物血管系统中导航的自主微型机器人可实现靶向药物递送和溶栓治疗，然而为真实环境训练控制策略仍是一个开放挑战。先前关于微型机器人导航的强化学习（RL）研究仅限于理想化几何结构，忽略了体内存在的复杂流体动力学流场、受限分支结构和密集细胞障碍。在此，我们开发了一个物理基础的毛细血管网络模拟，包含真实流体动力学流场、显式红细胞动力学和解剖学衍生的分支几何结构，并训练深度RL智能体通过趋化性进行导航。我们系统性地绘制了不同机器人尺寸和游动速度下的导航物理极限，揭示了一个禁止区域，其中布朗运动和流动克服了推进力。成功的智能体独立发现了多种通用策略类型，包括跑-转和节能搜索-停留策略，与机器人参数无关。无需重新训练，这些智能体即可执行毛细血管流动的靶向阻塞和解阻塞，将通量恢复到健康基线水平。这些结果确立了RL作为在复杂生物环境中开发自主微型机器人干预策略的可行框架。