基于运动学数据评估时序卷积网络在手术手势与动作识别中的任务泛化能力
机器人学
2023-08-09 v1
摘要
细粒度活动识别可对机器人辅助手术中的操作进行可解释分析，用于技能评估、自主化和错误检测。然而，现有识别模型受限于同时具有运动学和视频数据的标注数据集稀缺，且无法泛化至未见过的受试者和任务。来自手术机器人的运动学数据对安全监测和自主化尤为关键，因其不受遮挡和镜头污染等常见相机问题影响。我们利用来自28名受试者共六项干实验室手术任务的聚合数据集，仅使用运动学数据，在手势和动作基元（MP）层级以及针对不同机械臂分别训练活动识别模型。采用LOUO（留一用户外）和我们提出的LOTO（留一任务外）交叉验证方法评估模型分别泛化至未见用户和未见任务的能力。手势识别模型比MP识别模型取得更高的准确率和编辑分数。但使用MP能够训练出对未见任务泛化更好的模型。此外，通过为左右机械臂分别训练模型可获得更高的MP识别准确率。对于任务泛化，若在相似任务和/或同一数据集的任务上训练，MP识别模型表现最佳。
引用
@article{arxiv.2306.16577,
title = {Evaluating the Task Generalization of Temporal Convolutional Networks for Surgical Gesture and Motion Recognition using Kinematic Data},
author = {Kay Hutchinson and Ian Reyes and Zongyu Li and Homa Alemzadeh},
journal= {arXiv preprint arXiv:2306.16577},
year = {2023}
}
备注
8 pages, 4 figures, 6 tables. To be published in IEEE Robotics and Automation Letters (RA-L)