面向全整数硬件的无标度感知训练
机器学习
2025-10-14 v1 硬件体系结构
摘要
整数 AI 推理显著降低嵌入式系统中的计算复杂度。量化感知训练 (QAT) 有助于缓解后训练量化导致的精度下降，但仍忽略了整数推理过程中整数缩放的影响，这在整数-only AI 推理中是一种高昂的硬件操作。本工作表明，通过对缩放因子施加更强的量化，可在不牺牲模型质量的前提下显著降低后训练的缩放成本。此外，我们引入了缩放感知训练，这是一种用于超低位宽缩放因子的微调方法。实验表明，即使缩放因子宽度降低了 8 倍，仍可通过最小的增量 retraining 完全保留精度。这使得资源受限的嵌入式系统能够实现更高效、更具成本效益的 AI 推理。
引用
@article{arxiv.2510.11484,
title = {Rescaling-Aware Training for Efficient Deployment of Deep Learning Models on Full-Integer Hardware},
author = {Lion Mueller and Alberto Garcia-Ortiz and Ardalan Najafi and Adam Fuks and Lennart Bamberg},
journal= {arXiv preprint arXiv:2510.11484},
year = {2025}
}
备注
Submitted to IEEE Embedded Systems Letters