从样本任务执行中学习针插入操作

自动化机器人任务（例如机器人缝合）可能非常复杂且耗时。学习一个任务模型以自主执行该任务极具价值，可使机器人手术技术惠及更广泛的群体。机器人手术的数据可轻易记录，所收集的数据可用于学习任务模型。这将减少机器人手术的时间与成本，外科医生可监督机器人操作或给出高层指令，而非对工具进行底层控制。我们提出了一个双臂在软组织中进行针插入的数据集，其中机械臂 1 将针插入组织，机械臂 2 主动操纵软组织以确保期望出口点与实际出口点一致。这在真实手术中十分重要，因为若无对组织的主动操纵，缝合可能失败，缝线可能无法抓住足够组织以抵抗缝合所施加的力。我们提出了一个针插入数据集，包含由 3 对立体相机记录的 60 次成功试验。此外，我们提出了 Deep-robot Learning from Demonstrations，其通过查看任务执行的过去时间步视频（即 n 步时间历史，其中 N 为记忆时间窗口）来预测机器人在时间步 t 之后（在 t 采取最优动作所产生）的期望状态。实验结果表明，我们提出的深度模型架构优于现有方法。尽管该方案尚不能在真实机器人上部署，但结果指明了未来面向真实机器人部署开发的可能性。