面向骨架基础手语识别的循环变换器与几何感知对齐——LA-Sign
计算机视觉与模式识别
2026-05-13 v2
摘要
基于骨架的孤立手语识别（ISLR）要求对细粒度的关节运动进行跨多尺度的理解，从细微的手指动作到全局身体动力学。现有方法通常依赖深层前馈网络，增加模型容量但缺乏递归细化和结构化表示的机制。我们提出LA-Sign，一个集成几何感知对齐的循环变换器框架，用于ISLR。我们不通过堆叠更深的层来获得模型深度，而是通过递归方式反复访问潜在表示，在共享参数下逐步细化对运动的理解。为进一步正则化该细化过程，我们提出一种几何感知对比目标，将骨架特征和文本特征映射到自适应的超球空间，鼓励多尺度语义组织。我们研究了三种循环设计和多种几何流形，证明采用编码器-解码器循环结合自适应 Poincaré 对齐在性能上最为突出。在WLASL和MSASL基准上的大规模实验表明，LA-Sign在使用更少唯一层数的前提下实现了最先进的性能，凸显了递归潜在细化和几何感知表征学习在手语识别中的有效性。
引用
@article{arxiv.2603.29057,
title = {LA-Sign: Looped Transformers with Geometry-aware Alignment for Skeleton-based Sign Language Recognition},
author = {Muxin Pu and Mei Kuan Lim and Chun Yong Chong and Chen Change Loy},
journal= {arXiv preprint arXiv:2603.29057},
year = {2026}
}