所见即所抓：由近眼追踪引导的友好抓取交互
机器人学
2023-05-16 v2
摘要
本工作提出了一种下一代人机接口，可通过仅视线推断并实现用户的操作意图。具体而言，我们开发了一个集成近眼追踪与机器人操作的系统，以实现用户指定动作（如抓取、拾放等），其中视觉信息与人注意力相融合，为期望的机器人动作创建映射。为实现视线引导操作，开发了头戴式近眼追踪设备以实时追踪眼球运动，从而识别用户视觉注意。为提升抓取性能，随后开发了基于 transformer 的抓取模型。堆叠的 transformer 模块用于提取分层特征，其中通道数在各阶段扩展而特征图分辨率被压缩。实验验证表明，眼动追踪系统产生较低的注视估计误差，且抓取系统在多个抓取数据集上取得有前景的结果。本工作是面向基于注视交互的辅助机器人的概念验证，在帮助老年人或上肢障碍者日常生活方面具有巨大潜力。演示视频见 https://www.youtube.com/watch?v=yuZ1hukYUrM
引用
@article{arxiv.2209.06122,
title = {What You See is What You Grasp: User-Friendly Grasping Guided by Near-eye-tracking},
author = {Shaochen Wang and Wei Zhang and Zhangli Zhou and Jiaxi Cao and Ziyang Chen and Kang Chen and Bin Li and Zhen Kan},
journal= {arXiv preprint arXiv:2209.06122},
year = {2023}
}
备注
6 pages