基于分层策略学习的接触丰富精密任务中的多模态融合
机器人学
2022-02-18 v1
摘要
视觉与力反馈的结合在接触丰富的机器人操作任务中起着至关重要的作用。现有方法侧重于围绕单一模态开发反馈控制，而低估了传感器之间的协同。融合不同传感器模态是必要的，但仍具挑战性。一个关键挑战是针对新物体实现具有精度的有效多模态通用控制方案。本文提出一种实用的基于分层策略学习的多模态传感器融合机制。首先，我们使用自监督编码器提取多视角视觉特征，并使用混合运动/力控制器调节力行为。接着，在强化学习（RL）算法中通过分层整合视觉、力与本体感知数据，简化多模态融合。此外，借助分层策略学习，该控制方案可利用视觉反馈的局限性，并探索各模态在精密任务中的贡献。实验表明，采用该控制方案的机器人在仿真中能以0.25mm间隙装配物体。该系统可泛化至广泛变化的初始构型与新形状。实验验证仿真系统无需微调即可鲁棒地迁移至真实环境。
引用
@article{arxiv.2202.08401,
title = {Multi-Modal Fusion in Contact-Rich Precise Tasks via Hierarchical Policy Learning},
author = {Piaopiao Jin and Yinjie Lin and Yanchao Tan and Tiefeng Li and Wei Yang},
journal= {arXiv preprint arXiv:2202.08401},
year = {2022}
}