BrainDistill：基于任务特定知识蒸馏的可植入运动解码
机器学习
2026-01-27 v1 人工智能
摘要
基于 Transformer 的神经解码器参数量大且预训练于大规模数据集，最近在脑机接口（BCI）任务上超越了经典机器学习模型和小型神经网络。然而，其大参数量和高计算需求阻碍了在受限电力的可植入系统中部署。为此，我们引入 BrainDistill，这是一个集成可植入神经解码器（IND）与任务特定知识蒸馏（TSKD）框架的新型可植入运动解码管线。与标准特征蒸馏方法试图完整保留教师表示不同，TSKD 显式优先选择对解码至关重要的特征，通过监督投影实现。在多个神经数据集上，IND 在运动解码任务中持续优于先前神经解码器，而其 TSKD 蒸馏变体在少样本标定设置下进一步超越备选蒸馏方法。最后，我们提出一种量化感知训练方案，使其仅用整数推理，并通过在训练期间学习的激活裁剪范围实现。量化后的 IND 使可植入 BCI 在严格的功耗约束下仍可部署，且性能损失最小。
引用
@article{arxiv.2601.17625,
title = {BrainDistill: Implantable Motor Decoding with Task-Specific Knowledge Distillation},
author = {Yuhan Xie and Jinhan Liu and Xiaoyong Ni and Fei Tan and Icare Sakr and Thibault Collin and Shiqi Sun and Alejandro Rodriguez Guajardo and Demon Fanny and Charles-francois Vincent Latchoumane and Henri Lorach and Jocelyne Bloch and Gregoire Courtine and Mahsa Shoaran},
journal= {arXiv preprint arXiv:2601.17625},
year = {2026}
}
备注
21 pages,7 figures