从机器人视角识别动作以实现自然人机交互
计算机视觉与模式识别
2025-07-31 v1 人工智能
机器人学
摘要
自然人机交互（N-HRI）要求机器人能够在不同距离和状态下识别人类动作，无论机器人本身处于运动还是静止状态。这种设置比传统的人类动作识别任务更灵活、更实用。然而，由于数据、模态、任务类别以及主体和环境的多样性有限，为传统动作识别设计的现有基准无法解决 N-HRI 中的独特复杂性。为了应对这些挑战，我们引入了 ACTIVE（Action from Robotic View），这是一个专门为移动服务机器人中普遍存在的以感知为中心的机器人视角量身定制的大规模数据集。ACTIVE 包含 30 个复合动作类别、80 名参与者和 46,868 个标注视频实例，涵盖 RGB 和点云模态。参与者在 3m 到 50m 距离范围内的不同环境中执行各种人类动作，同时相机平台也是移动的，模拟了由于地面不平整导致相机高度变化的机器人感知真实世界场景。这一全面且具挑战性的基准旨在推进 N-HRI 中的动作和属性识别研究。此外，我们提出了 ACTIVE-PC，这是一种利用多级邻域采样、分层识别器、弹性椭圆查询以及将运动学干扰与人类动作精确解耦，从而在长距离下准确感知人类动作的方法。实验结果证明了 ACTIVE-PC 的有效性。我们的代码可在以下地址获取：https://github.com/wangzy01/ACTIVE-Action-from-Robotic-View。
引用
@article{arxiv.2507.22522,
title = {Recognizing Actions from Robotic View for Natural Human-Robot Interaction},
author = {Ziyi Wang and Peiming Li and Hong Liu and Zhichao Deng and Can Wang and Jun Liu and Junsong Yuan and Mengyuan Liu},
journal= {arXiv preprint arXiv:2507.22522},
year = {2025}
}
备注
8 pages, 4 figures, Accepted to ICCV2025