amortized-precision quantization for early-exit vision transformers
计算机视觉与模式识别
2026-05-11 v1 人工智能
摘要
视觉 transformer（ViT）在视觉任务中取得了强大的性能，但其低精度早期退出部署仍显脆弱。现有量化方法假设静态全深度执行，导致在退出决策受量化噪声扰动时不稳定，这种噪声可沿动态推理路径放大误差。本文引入摊销精度量化（APQ），一种考虑层级随机暴露于量化噪声的利用率感知表述，揭示深度-精度权衡。基于 APQ，我们提出了具有早期退出的互适性自适应量化（MAQEE），是一个在显式风险控制下联合优化退出阈值和位宽的双层框架，以提高推理稳定性。MAQEE 在准确率-效率权衡中建立了更优的 Pareto 前沿，在分类、检测和分割任务上将 BOPs 降低最高可达 95%，同时保持准确率，并在强基准上性能提升最高可达 20%。
引用
@article{arxiv.2605.07317,
title = {Amortized-Precision Quantization for Early-Exit Vision Transformers},
author = {Rui Fang and Hsi-Wen Chen and Ming-Syan Chen},
journal= {arXiv preprint arXiv:2605.07317},
year = {2026}
}