一种用于动态手势识别的知识共享模型集成方法
计算机视觉与模式识别
2023-11-03 v1
摘要
本文关注人与机器交互场景下的动态手势识别。我们提出了一种由两个子网络组成的模型：一个transformer和一个基于有序神经元长短期记忆(ON-LSTM)的循环神经网络(RNN)。每个子网络仅使用骨架关节训练以完成手势识别任务。由于架构差异，各子网络提取不同类型的特征，因此知识可在子网络间共享。通过知识蒸馏，将各子网络的特征与预测融合到一个新的融合分类器中。此外，可使用循环学习率生成一系列模型并以集成方式组合，从而获得更具泛化能力的预测。所提出的知识共享模型集成在使用Dynamic Hand Gesture-14/28数据集测试时，仅利用骨架信息即取得了86.11%的总体准确率。
引用
@article{arxiv.2008.05732,
title = {An Ensemble of Knowledge Sharing Models for Dynamic Hand Gesture Recognition},
author = {Kenneth Lai and Svetlana Yanushkevich},
journal= {arXiv preprint arXiv:2008.05732},
year = {2023}
}
备注
Accepted at International Joint Conference on Neural Network