MS-TCRNet：用于基于传感器增强运动学的动作分割的多阶段时间卷积循环网络
计算机视觉与模式识别
2024-07-15 v2 机器学习
机器人学
图像与视频处理
摘要
动作分割是高级过程分析中的一项具有挑战性的任务，通常在从各种传感器获得的视频或运动学数据上执行。本工作提出与运动学数据动作分割相关的两点贡献。首先，我们引入两个版本的多阶段时间卷积循环网络（MS-TCRNet），专为运动学数据设计。其架构由带阶段内正则化的预测生成器以及基于双向LSTM或GRU的精炼阶段组成。其次，我们提出两种新的数据增强技术，世界坐标系旋转与手部反转，利用运动学数据强几何结构来提升算法性能与鲁棒性。我们在三个手术缝合任务数据集上评估模型：可变组织模拟（VTS）数据集与新引入的肠修复模拟（BRS）数据集，两者均为我们收集的开放手术模拟数据集，以及JHU-ISI手势与技能评估工作集（JIGSAWS），一个著名的机器人手术基准。我们的方法取得了最先进性能。
引用
@article{arxiv.2303.07814,
title = {MS-TCRNet: Multi-Stage Temporal Convolutional Recurrent Networks for Action Segmentation Using Sensor-Augmented Kinematics},
author = {Adam Goldbraikh and Omer Shubi and Or Rubin and Carla M Pugh and Shlomi Laufer},
journal= {arXiv preprint arXiv:2303.07814},
year = {2024}
}
备注
41 pages, 7 figures. Submitted to Pattern Recognition