将信号翻译为语言用于基于 sEMG 的活动识别
计算机视觉与模式识别
2026-05-22 v1
摘要
基于表面电肌电图 (sEMG) 信号的活动识别在近年来受到日益关注的研究。为了开发准确的 sEMG 信号识别器，已提出许多方法。一些研究致力于设计更大更具表征力的模型架构以增强 sEMG 信号的表征能力，而另一些研究则通过大规模预训练来丰富模型先验，从而提高识别性能。最近，大语言模型 (LLM) 在自然语言处理中展现出惊人的概括和推理能力，其从大量语言动作描述中学习的隐式知识为解释 sEMG 信号并推断活动意图开辟了新可能性。致力于此，我们提出 LLM-sEMG，一个利用 LLM 作为 sEMG 活动识别器的新型框架。该框架中，我们设计一种语言导向的映射机制，将连续的 sEMG 序列转换为 sEMG 语言，整合多种策略进一步促进信号到语言的映射过程。广泛的实验表明，所提出的框架能够使用大语言模型实现高精度的 sEMG 信号基于活动的识别。
引用
@article{arxiv.2605.22403,
title = {Translating Signals to Languages for sEMG-Based Activity Recognition},
author = {Ming Wang and Haoxuan Qu and Qiuhong Ke and Wei Zhou and Hossein Rahmani and Jun Liu},
journal= {arXiv preprint arXiv:2605.22403},
year = {2026}
}