NN-LUT：用于高效 Transformer 推理的非线性运算神经逼近
机器学习
2021-12-07 v1 人工智能
摘要
GELU、层归一化和 Softmax 等非线性运算是 Transformer 模型必不可少但代价高昂的构建模块。若干先前工作利用查找表或整数计算简化这些运算，但此类近似存在精度不佳或硬件成本高且延迟长的缺陷。本文提出一种准确且硬件友好的近似框架，用于高效 Transformer 推理。我们的框架采用简单神经网络作为通用逼近器，并将其结构等价变换为 LUT。所提框架称为 NN-LUT，可准确替换流行 BERT 模型中的所有非线性运算，并显著减小面积、功耗与延迟。
引用
@article{arxiv.2112.02191,
title = {NN-LUT: Neural Approximation of Non-Linear Operations for Efficient Transformer Inference},
author = {Joonsang Yu and Junki Park and Seongmin Park and Minsoo Kim and Sihwa Lee and Dong Hyun Lee and Jungwook Choi},
journal= {arXiv preprint arXiv:2112.02191},
year = {2021}
}
备注
7 pages, 3 figures