面向sEMG的Transformer模型规模化与蒸馏
音频与语音处理
2025-07-31 v1 人工智能
人机交互
机器学习
摘要
表面电位图（sEMG）信号为开发创新的人机界面提供了可能，因而能提供关于肌肉活动的见解。然而，受限于训练数据的有限量以及部署时的计算约束，限制了对模型规模进行放大的探索以解决sEMG任务。本文我们证明，纯粹的Transformer模型可以在sEMG数据上进行有效的规模放大，实现最高可达1.1亿参数的跨用户性能提升，超越了其他sEMG研究（通常<1000万参数）所探讨的规模范围。我们表明，超过1亿参数的模型可通过蒸馏压缩至小100倍的模型，性能损失不足1.5个绝对百分点。这一结果产生了适用于复杂实时sEMG任务的高效且富有表达力的模型。
关键词
引用
@article{arxiv.2507.22094,
title = {Scaling and Distilling Transformer Models for sEMG},
author = {Nicholas Mehlman and Jean-Christophe Gagnon-Audet and Michael Shvartsman and Kelvin Niu and Alexander H. Miller and Shagun Sodhani},
journal= {arXiv preprint arXiv:2507.22094},
year = {2025}
}
备注
Accepted at TMLR 2025 (https://openreview.net/forum?id=hFPWThwUiZ), 11 pages