面向连续手语识别的自足框架
计算机视觉与模式识别
2023-03-22 v1
摘要
本工作的目标是开发面向连续手语识别（CSLR）的自足框架，以解决手语识别的关键问题。这些问题包括理解所需的手、脸、嘴等复杂多尺度特征，以及缺乏帧级标注。为此，我们提出（1）分割聚焦卷积（DFConv），其在无需额外网络或标注的情况下提取手动与非手动特征；（2）密集伪标签精炼（DPLR），其通过结合真实词序列标签与预测序列来传播非尖峰帧级伪标签。我们证明，在大规模CSLR基准PHOENIX-2014和PHOENIX-2014-T上，我们的模型在基于RGB的方法中取得了最先进的性能，同时与采用多模态或额外标注的其他方法相比，在效率更优的情况下取得了相当的结果。
引用
@article{arxiv.2303.11771,
title = {Self-Sufficient Framework for Continuous Sign Language Recognition},
author = {Youngjoon Jang and Youngtaek Oh and Jae Won Cho and Myungchul Kim and Dong-Jin Kim and In So Kweon and Joon Son Chung},
journal= {arXiv preprint arXiv:2303.11771},
year = {2023}
}