思考、行动与询问:开放世界交互式个性化机器人导航
机器人学
2024-05-31 v4 计算与语言
人机交互
摘要
零样本物体导航(ZSON)使智能体能够在未知环境中导航至开放词汇物体。现有 ZSON 工作主要侧重于遵循单独指令寻找通用物体类别,忽视了自然语言交互的利用以及识别用户特定物体的复杂性。为应对这些局限,我们提出了零样本交互式个性化物体导航(ZIPON),其中机器人需要在与用户对话的同时导航至个性化目标物体。为解决 ZIPON,我们提出了一种称为开放世界交互式个性化导航(ORION)的新框架,其使用大语言模型(LLMs)进行序贯决策,以操控不同模块实现感知、导航与通信。实验结果表明,能够利用用户反馈的交互式智能体性能有显著提升。然而,在所有方法中,在任务完成与导航及交互效率之间取得良好平衡仍具挑战性。我们进一步提供了关于不同用户反馈形式对智能体性能影响的更多发现。代码见 https://github.com/sled-group/navchat。
引用
@article{arxiv.2310.07968,
title = {Think, Act, and Ask: Open-World Interactive Personalized Robot Navigation},
author = {Yinpei Dai and Run Peng and Sikai Li and Joyce Chai},
journal= {arXiv preprint arXiv:2310.07968},
year = {2024}
}
备注
Video URL: https://www.youtube.com/watch?v=rN5S8QIhhQc