用于微型设备推理的类脑低维计算分类器
机器学习
2022-04-04 v2
摘要
通过模仿类脑认知并利用并行性，超维度计算（HDC）分类器已成为实现高效设备端推理的轻量级框架。尽管如此，它们存在两个基本缺陷：启发式训练过程和超高维度，这导致推理精度次优且模型尺寸过大，超出了具有严格资源限制的微型设备的能力范围。在本文中，我们解决了这些基本缺陷，并提出了一种低维计算（LDC）替代方案。具体而言，通过将我们的 LDC 分类器映射为等效的神经网络，我们采用有原则的训练方法来优化模型。最重要的是，我们能够提高推理精度，同时成功地将现有 HDC 模型的超高维度降低数个数量级（例如，8000 对 4/64）。我们通过考虑用于微型设备推理的不同数据集来运行实验评估我们的 LDC 分类器，并在 FPGA 平台上实现了不同的模型以进行加速。结果突显了我们的 LDC 分类器相对于现有的类脑 HDC 模型具有压倒性优势，并且特别适合在微型设备上进行推理。
引用
@article{arxiv.2203.04894,
title = {A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices},
author = {Shijin Duan and Xiaolin Xu and Shaolei Ren},
journal= {arXiv preprint arXiv:2203.04894},
year = {2022}
}
备注
8 pages, 9 figures, accepted by and presented as a full paper at TinyML Research Symposium 2022