人类活动识别的比较研究：运动、触觉与多模态方法
应用物理
2025-07-25 v2
摘要
人类活动识别(HAR)对于有效的人机协作(HRC)至关重要，使机器人能够解释和响应人类的动作。本研究评估了基于视觉的触觉传感器对15种活动的分类能力，比较其性能与基于 IMU 的数据手套。此外，我们提出了一种多模态框架，结合触觉和运动数据以发挥其互补优势。我们考察了三种方法：使用 IMU 数据的基于运动的分类(MBC)，使用单个或双视频流的基于触觉的分类(TBC)，以及集成两者的多模态分类(MMC)。在受控条件下的分段数据集上进行离线验证，评估了每种配置的准确率；在连续动作序列上进行在线验证，测试在线性能。结果表明，多模态方法始终优于单一模态方法，凸显了整合触觉和运动感知以提高 HAR 系统用于协作机器人性能的潜力。
引用
@article{arxiv.2505.08656,
title = {Identification and minimization of losses in microscaled spin-wave transducers},
author = {Felix Kohl and Björn Heinz and Ádám Papp and Róbert Erdélyi and Györgi Csaba and Philipp Pirro},
journal= {arXiv preprint arXiv:2505.08656},
year = {2025}
}