SHEARer:通过软件-硬件协同的多重近似实现高效能超维计算
机器学习
2020-07-22 v1 硬件体系结构
摘要
超维计算(HD)是一种基于大脑对数据的高维、分布式表征进行计算的机器学习新兴范式。HD 的主要操作是编码,其通过将每个输入特征映射到一个超向量并将这些超向量简单相加(所谓捆绑过程)以得到编码超向量,从而将输入数据转移到超空间。尽管 HD 的操作高度可并行化,但海量操作阻碍了 HD 在嵌入式领域的效率。本文中,我们提出 SHEARer,一种算法-硬件协同优化,以改善 HD 计算的性能与能耗。我们从一种审慎的超向量近似方案中获得洞见:得益于 HD 固有的错误弹性,该方案对精度影响极小,却为硬件优化提供高前景。与先前生成全精度编码超向量再事后量化的工作不同,我们以近似方式计算编码超向量,节省大量资源且保持高准确率。我们还提出了一种新颖的 FPGA 实现,通过大规模并行与低功耗实现惊人性能。此外,我们开发了软件框架,通过仿真所提近似编码来训练 HD 模型。与使用实际机器学习数据集在 Raspberry Pi 3(GeForce GTX 1080 Ti)上实现的最先进编码方法相比,SHEARer 的 FPGA 实现实现了平均 104,904 倍(15.7 倍)的吞吐率提升与高达 56,044 倍(301 倍)的能耗节省。
引用
@article{arxiv.2007.10330,
title = {SHEARer: Highly-Efficient Hyperdimensional Computing by Software-Hardware Enabled Multifold Approximation},
author = {Behnam Khaleghi and Sahand Salamat and Anthony Thomas and Fatemeh Asgarinejad and Yeseong Kim and Tajana Rosing},
journal= {arXiv preprint arXiv:2007.10330},
year = {2020}
}
备注
A shorter version is accepted in ACM/IEEE International Symposium on Low Power Electronics and Design (ISLPED 2020)