基于多知识蒸馏的轻量级深度人类活动识别算法
机器学习
2024-09-16 v5 人工智能
人机交互
摘要
基于惯性传感器的人类活动识别（HAR）是许多以人为中心的移动应用的基础。基于深度学习的细粒度 HAR 模型能够在各种复杂应用场景中实现准确分类。然而，现有细粒度深度 HAR 模型较大的存储与计算开销阻碍了其面向资源受限平台的广泛部署。受知识蒸馏合理的模型压缩与潜在性能提升能力的启发，我们基于广泛使用的 MobileNet 设计了一个称为阶段-对数-记忆蒸馏（SMLDist）的多级 HAR 建模流水线。通过在蒸馏过程中更多关注与频率相关的特征，SMLDist 提升了学生模型的 HAR 分类鲁棒性。我们还在异构分类器中提出了一种自动搜索机制以改善分类性能。大量仿真结果表明，SMLDist 在准确率与宏 F1 分数上优于多种最先进的 HAR 框架。Jetson Xavier AGX 平台上的实际评估显示，SMLDist 模型兼具能效与计算效率。这些实验验证了所提模型在鲁棒性与效率间的合理平衡。在六个公开数据集上的知识蒸馏对比实验亦表明，SMLDist 优于其他先进的知识蒸馏方法的学生性能，这验证了 SMLDist 在其他分类任务（包括但不限于 HAR）上的良好泛化性。
引用
@article{arxiv.2107.07331,
title = {A Light-weight Deep Human Activity Recognition Algorithm Using Multi-knowledge Distillation},
author = {Runze Chen and Haiyong Luo and Fang Zhao and Xuechun Meng and Zhiqing Xie and Yida Zhu},
journal= {arXiv preprint arXiv:2107.07331},
year = {2024}
}