K-TanH：面向深度学习的高效 TanH 近似
机器学习
2020-06-09 v3 神经与进化计算
机器学习
摘要
我们提出 K-TanH，一种新颖、高精度、硬件高效的深度学习常用激活函数 TanH 的近似方法。K-TanH 由参数化的低精度整数运算组成，例如移位与加/减（无需浮点运算），其中参数存储在极小的查找表中，可放入 CPU 寄存器。K-TanH 可工作于多种数值格式，例如 Float32 与 BFloat16。其他激活函数（如 Sigmoid、Swish 和 GELU）的高质量近似可由 K-TanH 导出。我们的 K-TanH 的 AVX512 实现相对于 Intel SVML 展示了 的加速，并且在效率上持续优于其他使用浮点算术的近似方法。最后，我们在 WMT16 数据集上，使用基于 BFloat16 输入的经 K-TanH 得到的近似 TanH 训练语言翻译模型 GNMT，取得了最先进的 Bleu 分数与收敛结果。
引用
@article{arxiv.1909.07729,
title = {K-TanH: Efficient TanH For Deep Learning},
author = {Abhisek Kundu and Alex Heinecke and Dhiraj Kalamkar and Sudarshan Srinivasan and Eric C. Qin and Naveen K. Mellempudi and Dipankar Das and Kunal Banerjee and Bharat Kaul and Pradeep Dubey},
journal= {arXiv preprint arXiv:1909.07729},
year = {2020}
}
备注
6 pages, 1 figures