TSAK：面向制造产线高效可穿戴模态与模型优化的两阶段语义感知知识蒸馏
机器学习
2024-08-28 v1 信号处理
摘要
更小复杂度架构与传感器输入的机器学习模型，可从复杂度、成本到电池寿命等多方面使基于可穿戴传感器的人类活动识别（HAR）系统受益。在智能工厂的特定场景下，优化人机协作依赖于前沿的以人为中心的 AI 系统的实施。为此，工人活动识别能够实现对性能指标的准确量化，从而整体提升效率。我们提出了一种两阶段语义感知知识蒸馏（KD）方法 TSAK，用于制造产线中高效、隐私感知且可穿戴的 HAR，该方法在减少输入传感器模态及机器学习模型尺寸的同时，达到了与更大的多模态、多位置教师模型相似的识别性能。第一阶段包含一个编码注意力、因果与组合表示的教师分类器模型。第二阶段包含一个融合第一阶段三种表示的语义分类器。为评估 TSAK，我们在一个智能工厂测试平台上记录了一个多模态数据集，传感器为位于工人双手上的可穿戴且隐私感知的传感器（IMU 与电容式）。此外，我们还在 OpenPack 上评估了我们的方法，这是唯一可用的、在制造 HAR 场景中模拟双手可穿戴传感器放置的开放数据集。我们比较了采用不同表示的多种 KD 策略，以调节更小的学生模型的训练过程。与更大的教师模型相比，学生模型从单手获取更少的传感器通道，参数减少 79%，运行速度快 8.88 倍，且所需计算能力（FLOPS）降低 96.6%。
引用
@article{arxiv.2408.14146,
title = {TSAK: Two-Stage Semantic-Aware Knowledge Distillation for Efficient Wearable Modality and Model Optimization in Manufacturing Lines},
author = {Hymalai Bello and Daniel Geißler and Sungho Suh and Bo Zhou and Paul Lukowicz},
journal= {arXiv preprint arXiv:2408.14146},
year = {2024}
}
备注
Accepted in 27th International Conference on Pattern Recognition (ICPR)