CPEP：对比式姿态-肌电预训练增强肌电信号上的手势泛化能力
机器学习
2025-12-03 v3 信号处理
摘要
使用视频、图像和手部骨架等高质量结构化数据进行手势分类是计算机视觉中一个被广泛探索的问题。利用低功耗、低成本的生物信号（例如表面肌电信号 sEMG），可以在可穿戴设备上实现连续的手势预测。在本文中，我们证明了从弱模态数据中学习与结构化高质量数据对齐的表示，可以提高表示质量并实现零样本分类。具体而言，我们提出了一种对比式姿态-肌电预训练 (CPEP) 框架来对齐 EMG 和姿态表示，其中我们学习了一个 EMG 编码器，能够产生高质量且包含姿态信息的表示。我们通过线性探测和零样本设置评估了模型的手势分类性能。在分布内手势分类上，我们的模型比 emg2pose 基准模型高出 21%，在未见（分布外）手势分类上高出 72%。
引用
@article{arxiv.2509.04699,
title = {CPEP: Contrastive Pose-EMG Pre-training Enhances Gesture Generalization on EMG Signals},
author = {Wenhui Cui and Christopher Sandino and Hadi Pouransari and Ran Liu and Juri Minxha and Ellen Zippi and Aman Verma and Anna Sedlackova and Erdrin Azemi and Behrooz Mahasseni},
journal= {arXiv preprint arXiv:2509.04699},
year = {2025}
}
备注
Accepted by 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Foundation Models for the Brain and Body