基于孤立手势与后处理的连续手语词分离方法
计算机视觉与模式识别
2023-06-02 v4
摘要
连续手语识别（CSLR）是计算机视觉中一项长期具有挑战性的任务，其难点在于难以检测手语句中词之间的显式边界。为应对这一挑战，我们提出了一种两阶段模型。第一阶段，由 CNN、SVD 与 LSTM 组合构成的预测器模型使用孤立手势进行训练。第二阶段，我们对模型第一部分获得的 Softmax 输出应用后处理算法，以在连续手势中分离出孤立手势。所提模型在帧数相近的孤立手势类别上训练，却在每类孤立手势帧长不同的连续手势视频上进行评估。由于缺乏同时包含手势序列与对应孤立手势的大规模数据集，我们采用两个孤立手语识别（ISLR）公开数据集 RKS-PERSIANSIGN 与 ASLLVD 进行评估。连续手势视频的结果证实了所提模型在处理孤立手势边界检测上的有效性。
引用
@article{arxiv.2204.00923,
title = {Word separation in continuous sign language using isolated signs and post-processing},
author = {Razieh Rastgoo and Kourosh Kiani and Sergio Escalera},
journal= {arXiv preprint arXiv:2204.00923},
year = {2023}
}