AHCQ-SAM：面向精准和硬件兼容的 Segment Anything Model 后训练量化
摘要
Segment Anything Model (SAM) 以其强大的零样学习能力在图像和视频分割领域取得了突破，但其庞大的参数规模和高计算需求阻碍了在资源受限的边缘设备上高效部署。虽然后训练量化 (PTQ) 提供了实用解决方案，但现有方法仍未能处理四项关键量化挑战：(1) 权重条件数不佳；(2) 后 GELU 激活函数呈现偏斜和长尾分布；(3) 线性投影层间通道方差显著；(4) 注意力得分呈指数尺度且异构。为缓解这些瓶颈，我们提出 AHCQ-SAM，一个集成四个协同组件的精准且硬件兼容的 PTQ 框架：(1) Activation-aware Condition Number Reduction (ACNR)，通过近端点算法正则化权重矩阵以抑制条件不佳现象；(2) Hybrid Log-Uniform Quantization (HLUQ)，将幂OfTwo 和均匀量化器组合以捕捉偏斜的后 GELU 激活；(3) Channel-Aware Grouping (CAG)，聚类统计特性相似的通道以实现高精度且最小硬件开销；(4) Logarithmic Nonlinear Quantization (LNQ)，利用对数变换自适应调整注意力得分的量化分辨率。实验结果表明，AHCQ-SAM 在 SAM 上的性能优于当前方法。相较于 SOTA 方法，4 位 SAM-B 的 Faster R-CNN 在 COCO 数据集上 mAP 提升 15.2%。此外，我们为 SAM2 建立了 PTQ 基准，AHCQ-SAM 在 SA-V Test 数据集上 4 位 SAM2-Tiny 的 J&F 提升 14.01%。最后，FPGA 实施验证了 AHCQ-SAM 的实际价值，相较于浮点基准实现了 7.12 倍加速和 6.62 倍能效提升。
引用
@article{arxiv.2503.03088,
title = {AHCQ-SAM: Toward Accurate and Hardware-Compatible Post-Training Segment Anything Model Quantization},
author = {Wenlun Zhang and Yunshan Zhong and Weiqi Yan and Shengchuan Zhang and Shimpei Ando and Kentaro Yoshioka},
journal= {arXiv preprint arXiv:2503.03088},
year = {2026}
}
备注
Update to AHCQ-SAM