基于 MoIL 的工业复杂工作活动识别自监督学习初步调查
人机交互
2024-04-23 v1
摘要
本研究探讨了一种用于复杂工作活动识别的 self-supervised learning（SSL）方法，基于可穿戴传感器。由于 labeled sensor data collection 成本，effective 使用 unlabeled data 进行预训练的 SSL 方法对于人类活动识别（HAR）引起了关注。然而，将先前的 SSL 方法应用于诸如包装工作等复杂工作活动具有挑战性，因为观察数据会因具体情况而产生很大差异，例如包装工作中项目数量和项目大小的差异。在本研究中，我们聚焦于特定活动（例如组装盒子活动中的拉紧包装胶带动作）中特征且必需的动作（sensor data motifs）对应的传感器数据，通过 self-supervised learning 训练神经网络，使其能够识别特征动作的发生，即 Motif Identification Learning（MoIL）。网络中的 feature extractor 用于下游任务，即 work activity recognition，使其能够在有限的 labeled training data 下实现包含特征动作的精确活动识别。MoIL 方法在真实世界的工作活动数据上进行评估，在有限训练标签下实现了 state-of-the-art 性能。
引用
@article{arxiv.2404.13581,
title = {Preliminary Investigation of SSL for Complex Work Activity Recognition in Industrial Domain via MoIL},
author = {Qingxin Xia and Takuya Maekawa and Jaime Morales and Takahiro Hara and Hirotomo Oshima and Masamitsu Fukuda and Yasuo Namioka},
journal= {arXiv preprint arXiv:2404.13581},
year = {2024}
}
备注
This paper is accepted by PerCom WiP 2024