LUT-NN：以质心学习与查表赋能高效神经网络推理

Xiaohu Tang; Yang Wang; Ting Cao; Li Lyna Zhang; Qi Chen; Deng Cai; Yunxin Liu; Mao Yang

LUT-NN：以质心学习与查表赋能高效神经网络推理

机器学习 2023-09-07 v2 神经与进化计算

作者: Xiaohu Tang , Yang Wang , Ting Cao , Li Lyna Zhang , Qi Chen , Deng Cai , Yunxin Liu , Mao Yang

摘要

端侧深度神经网络（DNN）推理消耗大量计算资源与开发精力。为缓解该问题，我们提出LUT-NN，首个以查表赋能推理以降低推理成本的系统。LUT-NN为每个算子学习典型特征（称为质心），并预计算这些质心的结果存入查找表。推理时，与输入最接近的质心的结果可直接从表中读出，作为无需计算的近似输出。LUT-NN集成了两项主要新技术：（1）通过反向传播的可微质心学习，其适配三级近似以最小化质心带来的精度影响；（2）查表推理执行，综合考量不同并行度、内存访问削减及专用硬件单元以实现最优性能。LUT-NN在涵盖图像与语音识别及自然语言处理的多个真实任务上评估。相较相关工作，LUT-NN将精度提升66%至92%，达到与原模型相近水平。LUT-NN在全维度降低成本，包括FLOPs（ $\le$ 16x）、模型尺寸（ $\le$ 7x）、延迟（ $\le$ 6.8x）、内存（ $\le$ 6.5x）与功耗（ $\le$ 41.7%）。

关键词

神经网络推理查表质心学习反向传播模型压缩端侧推理 LUT-NN

引用

@article{arxiv.2302.03213,
  title  = {LUT-NN: Empower Efficient Neural Network Inference with Centroid Learning and Table Lookup},
  author = {Xiaohu Tang and Yang Wang and Ting Cao and Li Lyna Zhang and Qi Chen and Deng Cai and Yunxin Liu and Mao Yang},
  journal= {arXiv preprint arXiv:2302.03213},
  year   = {2023}
}

LUT-NN：以质心学习与查表赋能高效神经网络推理

摘要

关键词

引用

相关论文