P$^2$U: 递进精度更新以提高模型分发效率
机器学习
2025-07-01 v1 多媒体
摘要
在带宽受限的环境中，高效模型分发正变得日益关键。本文提出一种简单且有效的方法，称为递进精度更新（PU），以解决此问题。PU 不会传输原始高精度模型，而是传输一个低位精度模型，搭配一个模型更新，表示原始高精度模型与所传输低精度版本之间的差异。通过在各种模型架构上进行大量实验，包括从小模型（1-600 万参数）到大型模型（超过1亿参数），并使用不同数据集（如胸部X光、PASCAL-VOC 和 CIFAR-100），我们证明 PU 在准确率、带宽使用和延迟之间始终实现更好的权衡。此外，我们展示当带宽或启动时间为优先考虑因素时，可使用激进量化（例如4位）而不会严重牺牲性能。这些结果表明 PU 是一种有效且实用的解决方案，可用于低资源环境中的可扩展且高效模型分发，包括联邦学习、边缘计算和物联网部署。鉴于 PU 可与现有压缩技术相辅助（如稀疏化、量化、修剪等），可与任何压缩方法一起实现，潜在的改进空间更大。
引用
@article{arxiv.2506.22871,
title = {P$^2$U: Progressive Precision Update For Efficient Model Distribution},
author = {Homayun Afrabandpey and Hamed Rezazadegan Tavakoli},
journal= {arXiv preprint arXiv:2506.22871},
year = {2025}
}