基于替代梯度下降在神经形态处理器上的片上少样本学习
神经与进化计算
2019-11-06 v6
摘要
近期研究表明，神经元生物模型与神经形态硬件中的突触可塑性动态与基于梯度的学习相兼容（Neftci 等，2019）。基于梯度的学习需要对数据集迭代多次，这既耗时又将训练样本约束为独立同分布。这与在训练与推断之间没有边界的学习系统（如神经形态硬件）不兼容。克服这些约束的一种方法是迁移学习，其中网络的一部分被预训练并映射到硬件中，其余部分在线训练。迁移学习的优势在于，若任务域已知，预训练可离线加速，且每个类别的少量样本足以以合理准确率学习目标任务。在此，我们利用基于脉冲的随时间反向传播梯度预训练的特征，在英特尔 Loihi 神经形态研究处理器上演示了在线替代梯度少样本学习。我们的实验结果表明，Loihi 芯片可以使用少量样本在线学习手势，并取得与在传统处理器上模拟的模型相当的结果。
引用
@article{arxiv.1910.04972,
title = {On-chip Few-shot Learning with Surrogate Gradient Descent on a Neuromorphic Processor},
author = {Kenneth Stewart and Garrick Orchard and Sumit Bam Shrestha and Emre Neftci},
journal= {arXiv preprint arXiv:1910.04972},
year = {2019}
}
备注
Preprint, work in progress. Submitted to AICAS 2020 for review