ZipGait：基于扩散模型的骨架与剪影桥接用于提升步态识别
计算机视觉与模式识别
2024-08-23 v1
摘要
当前步态识别研究主要集中于有效提取外观特征，但在不受约束的场景下，剪影的脆弱性严重影响性能。因此，许多研究探索如何利用来自各种模型的信息，特别是充分利用骨架序列的内在信息。虽然这些基于模型的方法取得了显著的性能，但与基于外观的方法之间仍存在巨大的差距，这暗示了桥接剪影和骨架的潜在价值。本文首次尝试通过扩散模型从离散的骨架分布中重建密集的身体形状，展示了一种连接跨模态特征而非仅关注内在特征以改进基于模型的方法的新方法。为实现这一想法，我们提出了一种名为DiffGait的新型步态扩散模型，其设计了四项适用于步态识别的特定适应。此外，为有效利用重建的剪影和骨架，我们引入感知步态集成(PGI)，通过两个阶段集成不同的步态特征。将这些修改纳入后，产生一种高效的基于模型的步态识别框架，称为ZipGait。通过在四个公开基准上的大量实验，ZipGait在跨域和 intra-domain 设置下均表现出优异的性能，显著优于最新方法，同时实现了显著的即插即用性能提升。
引用
@article{arxiv.2408.12111,
title = {ZipGait: Bridging Skeleton and Silhouette with Diffusion Model for Advancing Gait Recognition},
author = {Fanxu Min and Qing Cai and Shaoxiang Guo and Yang Yu and Hao Fan and Junyu Dong},
journal= {arXiv preprint arXiv:2408.12111},
year = {2024}
}