基于原型引导伪特征回放的无数据类增量手势识别
计算机视觉与模式识别
2026-04-09 v2
摘要
手势识别是计算机视觉领域的一个重要研究方向。大多数手势识别工作集中在闭集场景上，从而限制了有效处理未见或新颖手势的能力。我们旨在解决类增量手势识别问题，即随着时间推移容纳新的和以前未见的手势的能力。具体而言，我们引入了一种用于无数据类增量手势识别的原型引导伪特征回放（PGPFR）框架。该框架包含四个组件：具有批次原型的伪特征生成（PFGBP）、用于旧类的变分原型回放（VPR）、用于新类的截断交叉熵（TCE）以及持续分类器重训练（CCRT）。为了解决灾难性遗忘问题，PFGBP 利用旧类的类原型以及新类的批次类原型，以在线方式动态生成多样化的伪特征。此外，VPR 利用类原型和协方差矩阵，强制分类器权重与旧类原型之间的一致性，以增强鲁棒性和泛化能力。TCE 减轻了由伪特征引起的分类器域差异的影响。最后，CCRT 训练策略旨在防止对新类的过拟合，并确保从旧类中提取特征的稳定性。在两个广泛使用的手势识别数据集（即 SHREC 2017 3D 和 EgoGesture 3D）上进行的大量实验表明，我们的方法在平均全局准确率上分别比现有的 SOTA 方法高出 11.8% 和 12.8%。代码可在 https://github.com/sunao-101/PGPFR-3/ 获取。
引用
@article{arxiv.2505.20049,
title = {Data-Free Class-Incremental Gesture Recognition with Prototype-Guided Pseudo Feature Replay},
author = {Hongsong Wang and Ao Sun and Jie Gui and Liang Wang},
journal= {arXiv preprint arXiv:2505.20049},
year = {2026}
}
备注
Code is on https://github.com/sunao-101/PGPFR-3/