基于视频中人体手动演示的自动交互与活动识别及其在异常检测中的应用
计算机视觉与模式识别
2023-07-10 v2 机器人学
摘要
本文提出了一种描述物体与手之间时空关系的新方法，用于识别手动任务视频演示中的交互与活动。该方法利用场景图（Scene Graphs）从图像序列中提取关键交互特征，同时编码运动模式与上下文。此外，该方法引入了基于事件的自动视频分割与聚类，从而能够对相似事件进行分组，并检测被监控活动是否被正确执行。该方法的有效性在两个多受试者实验中得到了验证，展示了无需预先了解活动即可识别并聚类手-物体与物体-物体交互的能力，以及匹配不同受试者执行的相同活动的能力。
引用
@article{arxiv.2304.09789,
title = {Automatic Interaction and Activity Recognition from Videos of Human Manual Demonstrations with Application to Anomaly Detection},
author = {Elena Merlo and Marta Lagomarsino and Edoardo Lamon and Arash Ajoudani},
journal= {arXiv preprint arXiv:2304.09789},
year = {2023}
}
备注
8 pages, 8 figures, IEEE RAS International Symposium on Robot and Human Interactive Communication (RO-MAN), for associated video see https://youtu.be/Ftu_EHAtH4k