R2损失：用于模型压缩与量化的范围限制损失
机器学习
2024-02-13 v2 计算机视觉与模式识别
性能
图像与视频处理
摘要
模型量化和压缩是广泛用于减少推理时计算资源使用的技术。尽管最先进的工作在4bit或8bit等较高比特下已取得合理精度，但进一步量化/压缩模型（例如1bit或2bit）仍然具有挑战性。为克服该挑战，我们关注预训练模型权重中的离群值，它们会破坏有效的低位宽量化和压缩。本文中，我们提出范围限制损失（R2-Loss），通过在预训练期间从权重中移除离群值，来构建利于低位宽量化和压缩的模型。通过有效限制权重范围，我们将整体分布塑造成紧凑形状以确保高量化比特分辨率，从而使模型压缩和量化技术能更好地利用其有限数值表示能力。我们引入了三种不同的损失：L-inf R2-Loss、其扩展Margin R2-Loss以及一种新的Soft-Min-Max R2-Loss，作为全精度模型训练期间的辅助损失。这些R2-Loss可用于不同情况，例如L-inf和Margin R2-Loss对对称量化有效，而Soft-Min-Max R2-Loss在模型压缩中表现更好。在我们的实验中，R2-Loss通过最先进的训练后量化（PTQ）、量化感知训练（QAT）和模型压缩技术提升了低位宽量化精度。借助R2-Loss，MobileNet-V2的2bit权重和8bit激活PTQ、MobileNet-V1的2bit权重和激活QAT、ResNet18的1bit权重压缩分别提升至59.49%（原50.66%）、59.05%（原55.96%）和52.58%（原45.54%）。
引用
@article{arxiv.2303.08253,
title = {R2 Loss: Range Restriction Loss for Model Compression and Quantization},
author = {Arnav Kundu and Chungkuk Yoo and Srijan Mishra and Minsik Cho and Saurabh Adya},
journal= {arXiv preprint arXiv:2303.08253},
year = {2024}
}