emg2qwerty：用于基于表面电生理信号的触控打字的大型数据集与基准
机器学习
2025-03-21 v3 人机交互
音频与语音处理
摘要
表面电生理信号(sEMG)非侵入式地测量由肌肉活动产生的信号，灵敏度足以检测单个脊髓神经元，同时富足以识别数十种手势及其细微差别。佩戴式手腕式sEMG传感器有望提供低摩擦、微妙、信息丰富、随时可用的人机输入。为此，我们介绍了emg2qwerty，一个来自非侵入式电生理信号的数据集，记录方式为在QWERTY键盘上触控打字时手腕处的sEMG信号，伴随ground-truth标注和可复现的基准。该数据集涵盖1,135个session，涉及108名用户，累计录制346小时，这是目前规模最大的公开数据集。这些数据显示，从神经元到肌肉以及肌肉组合的生成过程存在非平凡但明确的分层关系，同时也存在用户间和用户session间的领域迁移。应用来自与自动语音识别(ASR)相关领域的标准建模技术，我们在仅使用sEMG信号预测按键时表现出色的基准性能。我们认为，该任务和数据集的丰富性将推动机器学习和神经科学社区感兴趣的多个问题的进展。数据集和代码可在 https://github.com/facebookresearch/emg2qwerty 访问获取。
引用
@article{arxiv.2410.20081,
title = {emg2qwerty: A Large Dataset with Baselines for Touch Typing using Surface Electromyography},
author = {Viswanath Sivakumar and Jeffrey Seely and Alan Du and Sean R Bittner and Adam Berenzweig and Anuoluwapo Bolarinwa and Alexandre Gramfort and Michael I Mandel},
journal= {arXiv preprint arXiv:2410.20081},
year = {2025}
}
备注
Published at NeurIPS 2024 Datasets and Benchmarks Track