IsoNet：用于肌肉手势分类的多模态Transformer因果分析
机器学习
2025-06-23 v1 机器人学
信号处理
摘要
手势是人类运动系统的主要输出，但其神经肌肉特征的解码仍是基础神经科学和辅助技术（如肢体假肢）中的瓶颈。传统的人机界面管线依赖单一生物信号模态，但多模态融合可利用传感器获取的互补信息。我们系统比较了线性融合与注意力机制融合策略，涵盖三种架构：多模态MLP、多模态Transformer和层次Transformer，评估了单模态和多模态输入场景下的性能。实验使用两个公开数据集：NinaPro DB2（肌电信号和加速度计）和HD-sEMG 65-Gesture（高密度肌电信号和力量传感）。在两个数据集上，层次Transformer采用注意力机制融合始终实现最高准确率，分别在NinaPro DB2上超越最佳单模态线性融合MLP基线10%以上，在HD-sEMG上提升3.7%。为探讨模态间的相互作用，我们引入隔离网络（Isolation Network）， selectively 沉默单模态或跨模态注意力路径，量化每组token相互作用对下游决策的贡献。消融实验表明，跨模态相互作用在Transformer各层中约占决策信号的30%，凸显注意力驱动融合在充分利用互补模态信息中的重要性。总体而言，这些发现揭示了多模态融合何时如何提升生物信号分类，同时提供了人类肌肉活动的机制性见解。该研究有助于神经机器人系统传感器阵列的设计。
引用
@article{arxiv.2506.16744,
title = {IsoNet: Causal Analysis of Multimodal Transformers for Neuromuscular Gesture Classification},
author = {Eion Tyacke and Kunal Gupta and Jay Patel and Rui Li},
journal= {arXiv preprint arXiv:2506.16744},
year = {2025}
}