BEST: 基于耦合 token 化 BERT 预训练的手语识别方法
计算机视觉与模式识别
2023-03-29 v3
摘要
在本工作中,我们致力于利用BERT预训练的成功并建模领域特定统计特征,以滋养手语识别(SLR)模型。考虑到手和身体在手语表达中的主导地位,我们将它们组织为姿态三元组单元,并以逐帧方式输入Transformer骨干网络。预训练通过从损坏的输入序列中重建被掩码的三元组单元来进行,从而学习内部及外部三元组单元间的层次相关上下文线索。值得注意的是,不同于BERT中高度语义化的词token,姿态单元是原本位于连续空间中的低层信号,这阻碍了BERT交叉熵目标的直接采用。为此,我们通过三元组单元的耦合token化来弥合这一语义鸿沟。它自适应地从姿态三元组单元中提取离散伪标签,代表语义化的手势/身体状态。预训练后,我们在下游SLR任务上微调预训练编码器,并与新添加的任务特定层联合训练。大量实验验证了我们所提方法的有效性,在所有四个基准上以显著增益取得了新的最先进性能。
引用
@article{arxiv.2302.05075,
title = {BEST: BERT Pre-Training for Sign Language Recognition with Coupling Tokenization},
author = {Weichao Zhao and Hezhen Hu and Wengang Zhou and Jiaxin Shi and Houqiang Li},
journal= {arXiv preprint arXiv:2302.05075},
year = {2023}
}
备注
Accepted by AAAI 2023 (Oral)