基于通用LSH核的高效推理
机器学习
2021-06-23 v1 人工智能
数据结构与算法
摘要
大型机器学习模型在各种任务上取得了前所未有的性能，并已成为首选技术。然而，在资源受限环境中部署这些计算和内存消耗巨大的模型带来了新的挑战。在这项工作中，我们提出了数学上可证明的Representer Sketch，这是一组简洁的计数数组，能够通过简单的哈希计算和聚合来近似推理过程。Representer Sketch建立在核文献中流行的表示定理（Representer Theorem）之上，因此得名，为高效推理问题提供了一种通用的基础性替代方案，超越了量化、迭代剪枝和知识蒸馏等流行方法。神经网络函数被转换为其加权核密度表示，该表示可通过我们的草图算法非常高效地估计。在实证上，我们表明Representer Sketch在存储需求上实现了高达114倍的降低，在计算复杂度上实现了59倍的降低，且精度无任何下降。
引用
@article{arxiv.2106.11426,
title = {Efficient Inference via Universal LSH Kernel},
author = {Zichang Liu and Benjamin Coleman and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:2106.11426},
year = {2021}
}