基于事件相机的神经硬件动作持续学习
机器学习
2026-05-28 v1 人工智能
神经与进化计算
摘要
在不忘记先前类别的前提下持续识别和学习新型人类动作，是 emerging AR/VR 和机器人应用的需求。对于这些应用，设备内处理和学习对隐私和低延迟适应至关重要。事件相机通过稀疏、非同步的输出解决了视觉感知效率问题，天然适用于神经处理。然而，目前尚无系统部署了用于事件基础动作识别的神经硬件持续学习管道。我们提出了 CLANE（Continual Learning of Actions on Neuromorphic Hardware from Event Cameras），在 Intel Loihi 2 上端到端部署。CLANE 将用于时空特征提取的脉冲 2D CNN 与 CLP-SNN 结合作为其芯片学习头，通过引入 Temporal Aggregation Layer 和固定点 Normalization Layer 两个 novel Loihi 2 模块扩展至动作剪辑。在 THU E-ACT-50 数据集上，CLANE 在持续学习任务中实现了 70.4% 的准确率，相较于顺序 CNN+GRU+CLP 边缘 GPU 基线实现了 100 倍以上能耗降低和 16 倍延迟降低，通过三层评估水平的异构算法跨平台基准测试验证。
引用
@article{arxiv.2605.28387,
title = {CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras},
author = {Elvin Hajizada and Michael Neumeier and Edward Paxon Frady and Yulia Sandamirskaya and Axel von Arnim and Bing Li and Eyke Hüllermeier},
journal= {arXiv preprint arXiv:2605.28387},
year = {2026}
}