稠密神经网络量化优化：基于精确 QUBO 公式
机器学习
2025-10-21 v1 人工智能
摘要
本文介绍了一种基于新型 ADAROUND 方法的稠密神经网络后训练量化（PTQ）技术。以理论输出与去量化输出（激活函数前）之间的 Frobenius 距离为目标，得到一个明确的 QUBO，其中二进制变量代表每个权重和偏置的四舍五入选择。此外，利用系数 QUBO 矩阵的结构，全局问题可精确分解为 个规模为 的独立子问题，可通过模拟退火等启发式方法高效求解。该方法在 MNIST、Fashion-MNIST、EMNIST 和 CIFAR-10 上进行评估，整数精度从 int8 到 int1 与基于最近邻的传统量化方法进行比较。
引用
@article{arxiv.2510.16075,
title = {Optimization of the quantization of dense neural networks from an exact QUBO formulation},
author = {Sergio Muñiz Subiñas and Manuel L. González and Jorge Ruiz Gómez and Alejandro Mata Ali and Jorge Martínez Martín and Miguel Franco Hernando and Ángel Miguel García-Vico},
journal= {arXiv preprint arXiv:2510.16075},
year = {2025}
}