基于方向感知的长期运动解耦：用于连续手语识别的 OLMD 方法
计算机视觉与模式识别
2025-03-12 v1 人工智能
人机交互
摘要
连续手语识别（CSLR）的主要挑战主要源于多方向运动和长期运动的存在。然而，当前研究忽略了这些关键方面，显著影响准确率。为解决这些问题，我们提出了一种新颖的CSLR框架：方向感知的长期运动解耦（Orientation-aware Long-term Motion Decoupling, OLMD），有效地聚合长期运动并将多方向信号解耦为易于解释的组成部分。具体而言，我们创新的长期运动聚合（Long-term Motion Aggregation, LMA）模块过滤掉静态冗余信息，同时适应性地捕获丰富的长期运动特征。我们进一步通过将复杂运动解耦为水平和垂直组件来增强方向感知，使两方向上的运动净化得更好。此外，提出了两种耦合机制：阶段耦合和跨阶段耦合，两者共同丰富了多尺度特征，提高了模型的泛化能力。实验结果表明，OLMD在三个大型数据集上实现了最佳性能：PHOENIX14、PHOENIX14-T和CSL-Daily。值得注意的是，OLMD在PHOENIX14上的词错误率（WER）比之前的最佳结果低出1.6个百分点。
引用
@article{arxiv.2503.08205,
title = {OLMD: Orientation-aware Long-term Motion Decoupling for Continuous Sign Language Recognition},
author = {Yiheng Yu and Sheng Liu and Yuan Feng and Min Xu and Zhelun Jin and Xuhua Yang},
journal= {arXiv preprint arXiv:2503.08205},
year = {2025}
}