Kolmogorov-Arnold 网络（KAN）的硬件加速，用于边缘推理
硬件体系结构
2024-09-19 v1
摘要
最近，一种名为 Kolmogorov-Arnold 网络（KAN）的新模型被提出，它通过使用具有可训练系数的参数化 B 样条函数，有望以数量级更少的参数实现传统深度神经网络（DNN）的功能。然而，KAN 中的 B 样条函数给硬件加速带来了新的挑战。使用查找表（LUT）直接映射 B 样条函数可以减少计算资源需求，但这种方法仍然需要大量的电路资源（LUT、多路选择器、解码器等）。本文首次采用算法-硬件协同设计方法来加速 KAN。提出的算法级技术包括对齐对称性（Alignment-Symmetry）和间隙功率（PowerGap）KAN 硬件感知量化、KAN 稀疏性感知映射策略；电路级技术包括使用模拟 CIM（ACIM）电路的 N:1 时间调制动态电压输入发生器。我们使用 TSMC 22nm RRAM-ACIM 原型芯片测量的统计数据，评估了诸如由工艺变化引起的部分和误差等非理想效应的影响。通过搜索到的最佳 KAN 超参数以及在 22nm 节点上实现的优化电路，与传统的 DNN 硬件相比，我们实现了 41.78 倍的硬件面积缩减和 77.97 倍的能耗降低，同时准确率提升了 3.03%。
关键词
引用
@article{arxiv.2409.11418,
title = {Hardware Acceleration of Kolmogorov-Arnold Network (KAN) for Lightweight Edge Inference},
author = {Wei-Hsing Huang and Jianwei Jia and Yuyao Kong and Faaiq Waqar and Tai-Hao Wen and Meng-Fan Chang and Shimeng Yu},
journal= {arXiv preprint arXiv:2409.11418},
year = {2024}
}
备注
Accepted at ASP-DAC (Asia and South Pacific Design Automation Conference)