基于可视化的深度自监督学习用于自动手势识别
计算机视觉与模式识别
2024-06-19 v1 人机交互
摘要
手势是非语言交流的重要方式，视觉模态允许人们在交互过程中传递信息，促进人机交互。然而，自动识别手势被认为比较困难。本文我们探索了三种不同的手势识别方法：基于监督学习的方法、自监督方法和应用于 3D 动态骨架数据的可视化技术。自监督学习用于训练全连接网络、CNN 和 LSTM 方法。随后，应用重建方法到模拟环境中的无标签数据，使用 CNN 作为主干网络，然后利用所学特征在剩余的标记数据上执行预测。最后，应用 Grad-CAM 来发现模型的关注点。我们的实验结果表明，监督学习方法能够准确识别手势，自监督学习在模拟环境中提高了准确率。最后，Grad-CAM 可视化显示模型确实关注与相关手势相关的关键骨骼关节。
引用
@article{arxiv.2406.12440,
title = {Deep self-supervised learning with visualisation for automatic gesture recognition},
author = {Fabien Allemand and Alessio Mazzela and Jun Villette and Decky Aspandi and Titus Zaharia},
journal= {arXiv preprint arXiv:2406.12440},
year = {2024}
}
备注
Student research project with company collaboration