面向复杂人体装配中细粒度原子动作分割的手部引导高分辨率特征增强
计算机视觉与模式识别
2022-11-28 v1
摘要
由于复杂人体装配原子动作具有快速时变和细粒度的特性,传统的动作分割方法需要对视频帧进行空间(且通常还有时间)下采样,往往会丢失制造领域内准确分类所需的关键细粒度空间与时间信息。为充分利用制造领域内常采集的高分辨率视频数据并实现实时准确的动作分割——这是人机协作所必需的——我们提出了一种新颖的由手部位置引导的高分辨率特征增强模型。我们还提出了一种简单而有效的方法,通过训练时使用环绕采样、推理时进行时间感知标签清洗,将离线训练的动作识别模型部署于短时细粒度动作的实时分割。我们在一个新颖的动作分割数据集上评估了我们的模型,该数据集包含来自真实世界机器人装配生产线的视频数据中的 24 类(+背景)原子动作。结果表明,高分辨率手部特征与传统帧级宽特征均能改善细粒度原子动作分类,且通过时间感知标签清洗,我们的模型能够超越类似的编码器/解码器方法,同时支持实时分类。
引用
@article{arxiv.2211.13694,
title = {Hand Guided High Resolution Feature Enhancement for Fine-Grained Atomic Action Segmentation within Complex Human Assemblies},
author = {Matthew Kent Myers and Nick Wright and Stephen McGough and Nicholas Martin},
journal= {arXiv preprint arXiv:2211.13694},
year = {2022}
}