QuantPipe：在动态边缘环境中应用自适应训练后量化于分布式Transformer流水线
分布式、并行与集群计算
2022-11-10 v1
摘要
流水线并行在云环境中部署大规模transformer模型方面取得了巨大成功，但在边缘环境中受到的关注较少。与具有高速稳定网络互连的云场景不同，边缘系统中的动态带宽会降低分布式流水线性能。我们通过QuantPipe解决了这一问题，这是一个通信高效的分布式边缘系统，引入了训练后量化（PTQ）来压缩通信的张量。QuantPipe使用自适应PTQ响应带宽动态变化以改变位宽，在产生有限推理精度损失的同时维持transformer流水线性能。我们进一步利用用于整数量化的定向搜索解析裁剪方法（DS-ACIQ）提高了准确性，该方法弥合了估计数据分布与真实数据分布之间的差距。实验结果表明，QuantPipe能够适应动态带宽以维持流水线性能，同时在使用大范围量化位宽时实现了实用的模型准确率，例如，在ImageNet上与朴素量化相比，2-bit量化下的准确率提高了15.85%。
引用
@article{arxiv.2211.04515,
title = {QuantPipe: Applying Adaptive Post-Training Quantization for Distributed Transformer Pipelines in Dynamic Edge Environments},
author = {Haonan Wang and Connor Imes and Souvik Kundu and Peter A. Beerel and Stephen P. Crago and John Paul Walters},
journal= {arXiv preprint arXiv:2211.04515},
year = {2022}
}