Qronos：通过塑造未来修正过去……在训练后量化中
机器学习
2026-02-18 v3 人工智能
最优化与控制
摘要
我们引入了Qronos——一种新的最先进的训练后量化算法，该算法顺序地对神经网络权重进行舍入和更新。Qronos不仅显式地修正了由权重和激活量化引起的误差，还修正了由量化前一层产生的误差。我们的迭代算法基于一个可解释且严谨的优化框架，该框架涵盖并超越了现有的数据驱动方法。在每一步中，Qronos通过最优更新规则在误差修正和扩散之间交替进行。重要的是，我们证明了Qronos允许一种利用Cholesky分解求解最小二乘问题的实现。我们还证明了Qronos与现有的变换技术兼容，例如基于Hadamard的非相干处理和权重-激活缩放均衡等。我们使用Llama3系列中的近期自回归语言生成模型评估了Qronos；在量化权重、激活和/或KV缓存时，Qronos始终优于先前最先进的自适应舍入方法。
引用
@article{arxiv.2505.11695,
title = {Qronos: Correcting the Past by Shaping the Future... in Post-Training Quantization},
author = {Shihao Zhang and Haoyu Zhang and Ian Colbert and Rayan Saab},
journal= {arXiv preprint arXiv:2505.11695},
year = {2026}
}