理解视觉与触觉：面向接触丰富任务的多模态表征自监督学习
机器人学
2019-03-11 v2 人工智能
机器学习
摘要
非结构化环境中的接触丰富操作任务通常需要触觉与视觉反馈。然而，手动设计一个融合具有极不同特性的多种模态的机器人控制器并非易事。尽管深度强化学习在针对高维输入学习控制策略方面已取得成功，但由于样本复杂度问题，这些算法通常难以在实际机器人上部署。我们利用自监督学习来学习感官输入的紧凑多模态表征，该表征随后可用于提升策略学习的样本效率。我们在一个插孔任务上评估了我们的方法，该方法可泛化至不同的几何形状、配置与间隙，同时对外部扰动具有鲁棒性。文中给出了仿真与真实机器人实验的结果。
引用
@article{arxiv.1810.10191,
title = {Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks},
author = {Michelle A. Lee and Yuke Zhu and Krishnan Srinivasan and Parth Shah and Silvio Savarese and Li Fei-Fei and Animesh Garg and Jeannette Bohg},
journal= {arXiv preprint arXiv:1810.10191},
year = {2019}
}
备注
ICRA 2019