中文

面向脑机接口的轻量级向量符号架构上的调度式知识获取

机器学习 2024-03-22 v1 人工智能

摘要

脑机接口(BCI)通常被设计为轻量级且能实时响应,以便为用户提供及时反馈。经典的特征工程计算效率高但准确率低,而近期的深度神经网络(DNN)虽提高了准确率,但计算开销大且延迟高。作为一种有前景的替代方案,基于向量符号架构(VSA)的低维计算(LDC)分类器在保持较小模型尺寸的同时,实现了比经典特征工程方法更高的准确率。然而,其准确率仍落后于现代 DNN,这使得处理复杂的脑信号变得具有挑战性。为了提高小模型的准确率,知识蒸馏是一种流行的方法。然而,在教师模型和学生模型之间维持恒定的蒸馏水平,对于处于渐进学习阶段的成长中的学生模型而言,可能并非最佳方式。在这项工作中,我们提出了一种基于课程数据顺序的简单调度式知识蒸馏方法,使学生模型能够逐步从教师模型中构建知识,并由一个 α\alpha 调度器控制。同时,我们采用 LDC/VSA 作为学生模型,以提升对要求低延迟的微型 BCI 设备的端侧推理效率。实证结果表明,与其他方法相比,我们的方法在准确率和硬件效率之间取得了更好的权衡。

关键词

引用

@article{arxiv.2403.13844,
  title  = {Scheduled Knowledge Acquisition on Lightweight Vector Symbolic Architectures for Brain-Computer Interfaces},
  author = {Yejia Liu and Shijin Duan and Xiaolin Xu and Shaolei Ren},
  journal= {arXiv preprint arXiv:2403.13844},
  year   = {2024}
}

备注

Accepted as a full paper by the tinyML Research Symposium 2024