面向对话驱动的辅助机器人模态数据收集框架：明确歧义的魔术师-奥z pilot 研究
机器人学
2026-04-17 v2
摘要
轮椅及其挂载机器人臂（WMRAs）的集成控制具有强大的独立性提升潜力，尤其对于严重运动限制的用户。然而，现有接口往往缺乏所需的灵活性以实现直观的辅助交互。尽管数据驱动的AI方法显示出前景，但进展受限于缺乏捕获自然人机交互（HRI）的多模态数据集，尤其是对话驱动控制中对歧义的捕获。为填补这一空白，我们提出一种多模态数据收集框架，采用对话驱动的交互协议和两间房间的魔术师-奥z（WoZ）设置，以模拟机器人自主性，同时引导自然用户行为。该框架记录五个同步模态：RGB-D视频、对话音频、惯性测量单位（IMU）信号、末端执行器笛卡尔位姿以及整体关节状态，覆盖五个辅助任务。使用该框架，我们收集了来自五名参与者的53次试验的 pilot 数据集，并通过运动光滑性分析和用户反馈对其质量进行了验证。结果表明，该框架有效捕获了多样化的歧义类型，支持自然的对话驱动交互，证明了其在扩大规模数据集以实现模糊感知辅助控制的学习、基准测试和评估方面的适用性。
引用
@article{arxiv.2601.16870,
title = {A Multimodal Data Collection Framework for Dialogue-Driven Assistive Robotics to Clarify Ambiguities: A Wizard-of-Oz Pilot Study},
author = {Guangping Liu and Nicholas Hawkins and Billy Madden and Tipu Sultan and Flavio Esposito and Madi Babaiasl},
journal= {arXiv preprint arXiv:2601.16870},
year = {2026}
}
备注
Accepted to IEEE RAS/EMBS 11th International Conference on Biomedical Robotics and Biomechatronics (BioRob) 2026