基于透视视觉触觉传感器的多模态与力匹配模仿学习
机器人学
2025-01-28 v5 人工智能
机器学习
摘要
富含接触的任务对机器人操作仍构成诸多挑战。在这项工作中，我们在模仿学习（IL）框架内利用多模态视觉触觉传感器来执行涉及末端执行器与被操作对象之间相对运动（例如滑动）的富含接触任务。我们介绍了两项算法贡献，触觉力匹配和习得模式切换，作为改进IL的互补方法。触觉力匹配通过演示期间读取近似力并生成重现所记录力的自适应机器人轨迹来增强运动示教。习得模式切换使用IL将视觉和触觉传感器模式与习得的运动策略耦合，简化从到达接触到接触的过程。我们在四种开门任务上进行了机器人操作实验，采用多种观测与算法配置，以研究多模态视觉触觉传感及我们所提改进的作用。我们的结果表明，加入力匹配使平均策略成功率提升62.5%，视觉触觉模式切换提升30.3%，视觉触觉数据作为策略输入提升42.5%，强调了透视触觉传感对于IL的价值，既可用于数据采集以实现力匹配，也可用于策略执行以实现准确任务反馈。项目主页：https://papers.starslab.ca/sts-il/
引用
@article{arxiv.2311.01248,
title = {Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor},
author = {Trevor Ablett and Oliver Limoyo and Adam Sigal and Affan Jilani and Jonathan Kelly and Kaleem Siddiqi and Francois Hogan and Gregory Dudek},
journal= {arXiv preprint arXiv:2311.01248},
year = {2025}
}
备注
14 pages, 22 figures