神经网络权重量化：目标无重训练三元化 (TNT)
机器学习
2019-12-20 v1 计算复杂性
摘要
深度神经网络 (DNN) 的权重量化已被证明是在移动设备、ASIC 和 FPGA 等边缘设备上实现 DNN 的有效解决方案，因为它们没有足够的资源来支持涉及数百万高精度权重和乘累加运算的计算。本文提出了一种将 DNN 的高精度权重向量压缩为三元向量的新方法，即基于余弦相似度的目标无重训练三元 (TNT) 压缩方法。我们的方法利用余弦相似度而非文献中常用的欧氏距离，并成功地将寻找最优三元向量的搜索空间大小从 3N 减小到 N，其中 N 是目标向量的维度。因此，TNT 寻找理论最优三元向量的计算复杂度仅为 O(N log(N))。此外，我们的实验表明，当我们将具有高精参数的 DNN 模型三元化时，所获得的量化模型可以展现出足够高的准确率，从而无需重训练模型。
引用
@article{arxiv.1912.09236,
title = {Neural Networks Weights Quantization: Target None-retraining Ternary (TNT)},
author = {Tianyu Zhang and Lei Zhu and Qian Zhao and Kilho Shin},
journal= {arXiv preprint arXiv:1912.09236},
year = {2019}
}
备注
6 pages, 2 figures