中文

探索无标签结构线索的多模态步态识别

计算机视觉与模式识别 2026-04-02 v2 图像与视频处理

摘要

步态识别作为一种非侵入式生物识别技术,已在安防应用中得到广泛应用,但现有研究主要依赖轮廓和解析为主的表征。轮廓稀疏且遗漏内部结构细节,限制了辨识能力。解析丰富了轮廓的部件级结构,但高度依赖上游人体解析器(如标签粒度和边界精度),导致跨数据集性能不稳定,有时甚至不如轮廓。我们从结构视角重审步态表征,描述由边缘密度和监督形式定义的设计空间:轮廓使用稀疏边界边缘配合弱单标签监督,而解析使用更密集的线索配合强语义先验。在此空间中,我们识别了一个较少探索的范式:无需显式语义标签的密集部件级结构,并引入SKETCH作为一种新的视觉模态用于步态识别。SKETCH通过基于边缘的检测器直接从RGB图像中提取高频结构线索(如肢体关节和自遮挡轮廓),实现无标签化。我们进一步表明,标签引导的解析与无标签草图在语义上是解耦的、在结构上是互补的。基于此,我们提出SKETCHGAIT,一个层次化解耦的多模态框架,包含两个独立的流以进行模态特定学习,以及轻量级的早期融合分支以捕获结构互补性。在SUSTech1K和CCPG上的大量实验验证了所提出的模态和框架:SketchGait在SUSTech1K上实现了92.9%的Rank-1,在CCPG上实现了93.1%的平均Rank-1。

关键词

引用

@article{arxiv.2603.05537,
  title  = {Sketch It Out: Exploring Label-Free Structural Cues for Multimodal Gait Recognition},
  author = {Chao Zhang and Zhuang Zheng and Ruixin Li and Zhanyong Mei},
  journal= {arXiv preprint arXiv:2603.05537},
  year   = {2026}
}

备注

10 pages, 3 figures