DRAGON：一种基于对话、具备视觉语言 grounding 的辅助导航机器人
机器人学
2024-03-06 v3 人工智能
计算与语言
人机交互
机器学习
摘要
视障人士（PwVI）在理解周边空间并进行导航时存在困难。当前的寻路技术要么仅关注导航，要么对环境提供有限的交流信息。受近期视觉-语言 grounding 与语义导航进展的启发，我们提出 DRAGON，一种由对话系统驱动、并能将环境与自然语言相关联的引导机器人。通过理解用户的指令，DRAGON 能够引导用户到达地图上所需地标、描述环境，并基于视觉观察回答问题。通过有效利用对话，该机器人可将用户的自由形式描述 grounding 到环境中的地标，并通过口语向用户提供语义信息。我们在日常室内环境中对蒙眼参与者进行了用户研究。我们的结果表明，DRAGON 能够顺畅地与用户交流，提供良好的引导体验，并以直观方式将用户与其周围环境连接起来。视频与代码见 https://sites.google.com/view/dragon-wayfinding/home。
引用
@article{arxiv.2307.06924,
title = {DRAGON: A Dialogue-Based Robot for Assistive Navigation with Visual Language Grounding},
author = {Shuijing Liu and Aamir Hasan and Kaiwen Hong and Runxuan Wang and Peixin Chang and Zachary Mizrachi and Justin Lin and D. Livingston McPherson and Wendy A. Rogers and Katherine Driggs-Campbell},
journal= {arXiv preprint arXiv:2307.06924},
year = {2024}
}
备注
Published in IEEE Robotics and Automation Letters (RA-L)