辅助洗浴机器人中人机交互的多模态信号处理与学习问题
多媒体
2017-11-07 v1 人机交互
机器人学
摘要
我们探索了智能人机交互(HRI)辅助生活的新方面，涉及在自然接口中自动识别与在线验证语音和手势，并为 HRI 提供社交特征。我们介绍了一个由辅助洗浴机器人支持的老年人真实生活场景的整体框架与资源，以应对健康与卫生护理问题。我们贡献了一个新数据集及用于数据采集的工具套件，以及 I-Support 洗浴机器人框架内用于多模态学习的先进流水线，重点在于音频与 RGB-D 视觉流。我们通过使用 Kinect 传感器评估深度视觉流与 RGB，考虑了隐私问题。该新数据集上的音频-手势识别任务准确率可达 84.5%，而当两种模态融合时，I-Support 系统在老年用户上的在线验证准确率达 84%。考虑到该特定任务的困难性，结果足以支持辅助性社交 HRI 多模态识别领域的进一步研究。论文录用后部分数据将公开可用。
引用
@article{arxiv.1711.01775,
title = {Multimodal Signal Processing and Learning Aspects of Human-Robot Interaction for an Assistive Bathing Robot},
author = {A. Zlatintsi and I. Rodomagoulakis and P. Koutras and A. C. Dometios and V. Pitsikalis and C. S. Tzafestas and P. Maragos},
journal= {arXiv preprint arXiv:1711.01775},
year = {2017}
}