iCub！你能识别我在做什么吗？：基于多感官能力iCub机器人的多模态人类动作识别
机器人学
2022-12-20 v1 计算机视觉与模式识别
机器学习
摘要
本研究利用多感官数据（即彩色与深度）在多模态人机交互背景下识别人类动作。此处我们采用iCub机器人，通过观察人类伙伴使用四种不同工具对20个物体执行预定义动作。我们展示了所提出的多模态集成学习利用了三个彩色相机与一个深度传感器的互补特性，在大多数情况下相较单一模态训练的模型提升了识别准确率。结果表明，所提模型可部署于需要进行多模态动作识别的iCub机器人上，包括伙伴特定适应和情境行为理解等社交任务。
引用
@article{arxiv.2212.08859,
title = {iCub! Do you recognize what I am doing?: multimodal human action recognition on multisensory-enabled iCub robot},
author = {Kas Kniesmeijer and Murat Kirtay},
journal= {arXiv preprint arXiv:2212.08859},
year = {2022}
}
备注
7 pages, 5 figures and 1 table. International Conference on Social Robotics