基于Transformer的对比学习方法用于少样本手语识别
计算机视觉与模式识别
2022-04-07 v1 人工智能
计算与语言
机器学习
摘要
从单目图像或2D姿态序列进行手语识别是一个具有挑战性的领域，不仅因为从2D数据推断3D信息的困难，还因为信息序列之间的时间关系。此外，手语的多样性以及在生产环境中不断添加新手势的需求使得传统分类技术不可行。我们提出了一种新颖的基于对比学习的Transformer模型，该模型能够从身体关键点序列中学习丰富的表示，从而更好地比较向量嵌入。这使得我们能够应用这些技术执行一次性或少样本任务，如分类和翻译。实验表明，该模型能够很好地泛化，并在训练过程中从未见过的手势类别上取得了有竞争力的结果。
引用
@article{arxiv.2204.02803,
title = {A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition},
author = {Silvan Ferreira and Esdras Costa and Márcio Dahia and Jampierre Rocha},
journal= {arXiv preprint arXiv:2204.02803},
year = {2022}
}