密度编码实现资源高效型随机连接神经网络
机器学习
2022-09-02 v2 机器学习
摘要
在资源受限的边缘设备上部署机器学习算法，无论从理论还是应用角度都是一个重要挑战。本文聚焦于被称为随机向量函数连接（RVFL）网络的资源高效型随机连接神经网络，因为其简单的设计和极快的训练时间使其在解决众多应用分类任务时极具吸引力。我们提出通过随机计算领域中已知的基于密度的编码来表示输入特征，并利用超维计算领域中的绑定与捆绑操作来获取隐藏神经元的激活值。通过使用来自UCI机器学习库的121个真实世界数据集，我们实证表明，所提出的方法比传统RVFL具有更高的平均准确率。我们还证明，可以用有限范围内的整数来表示读出矩阵，且准确率损失极小。在这种情况下，所提出的方法仅对小n位整数进行操作，从而形成了一种计算高效的架构。最后，通过现场可编程门阵列（FPGA）硬件实现，我们表明这种方法的能耗大约是传统RVFL的十一分之一。
引用
@article{arxiv.1909.09153,
title = {Density Encoding Enables Resource-Efficient Randomly Connected Neural Networks},
author = {Denis Kleyko and Mansour Kheffache and E. Paxon Frady and Urban Wiklund and Evgeny Osipov},
journal= {arXiv preprint arXiv:1909.09153},
year = {2022}
}
备注
7 pages, 7 figures