一种比特量化用于随机特征模型
机器学习
2025-10-21 v1 机器学习
摘要
近期神经网络的进展导致计算和存储需求显著增加，推动了一种比特权重压缩以实现资源受限设备上的高效推断。然而，这种压缩的理论基础仍不完全被理解。我们通过分析随机特征模型中的一种比特量化来填补这一空白，这一简化框架对应于具有随机表示的神经网络。我们证明，渐近地，对除最后一层外的所有层进行量化，与全精度随机特征模型相比，不会损失泛化误差。我们的发现为神经网络压缩提供了理论见解。我们还在笔记本 GPU 上证明了一种比特量化对于随机特征模型实现了显著的推断加速，确认了我们工作的实际效益。此外，我们对具有任意层数目的随机特征的泛化误差提供了渐近精确的表征。迄今为止，我们的分析比相关文献中所有之前的工作都更具普遍性。
引用
@article{arxiv.2510.16250,
title = {One-Bit Quantization for Random Features Models},
author = {Danil Akhtiamov and Reza Ghane and Babak Hassibi},
journal= {arXiv preprint arXiv:2510.16250},
year = {2025}
}