面向零样本手语识别
计算机视觉与模式识别
2022-01-19 v1
摘要
本文解决零样本手语识别（ZSSLR）问题，其目标是利用在已见手语类别上学习的模型来识别未见手语类别的实例。在此背景下，从手语词典中获取的现成文本手语描述与属性被用作语义类别表示以进行知识迁移。针对这一新颖的问题设定，我们引入了三个基准数据集及其配套的文本与属性描述，以详细分析问题。我们提出的方法构建了身体与手部区域的时空模型。通过在零样本学习框架内利用描述性文本与属性嵌入以及这些视觉表示，我们表明基于文本和属性的类别定义能为识别先前未见的手语类别提供有效知识。我们还额外引入了分析二元属性在正确与错误零样本预测中影响的技术。我们期望所引入的方法与配套数据集能为手语识别中零样本学习的进一步探索提供基础。
引用
@article{arxiv.2201.05914,
title = {Towards Zero-shot Sign Language Recognition},
author = {Yunus Can Bilge and Ramazan Gokberk Cinbis and Nazli Ikizler-Cinbis},
journal= {arXiv preprint arXiv:2201.05914},
year = {2022}
}