多模型深度学习推理流水线的自动化异构低位量化
计算机视觉与模式识别
2023-11-13 v1 最优化与控制
摘要
集成于单一深度学习(DL)推理流水线中的多个深度神经网络(DNN),例如多任务学习(MTL)或集成学习(EL)等,尽管非常准确,却给边缘部署带来了挑战。在这些系统中,各模型在量化容忍度和资源需求上各不相同,需要精细调优以实现精度与延迟的平衡。本文提出了一种面向多DNN的DL推理流水线的自动化异构量化方法。
引用
@article{arxiv.2311.05870,
title = {Automated Heterogeneous Low-Bit Quantization of Multi-Model Deep Learning Inference Pipeline},
author = {Jayeeta Mondal and Swarnava Dey and Arijit Mukherjee},
journal= {arXiv preprint arXiv:2311.05870},
year = {2023}
}