推理加速器对硬件选型的影响
分布式、并行与集群计算
2019-10-09 v1 机器学习
摘要
随着AI辅助医疗机遇的稳步增长，模型部署因该行业的特定特征而面临挑战。生产设备的配置选择会影响模型性能，同时影响运营成本。此外，在医疗领域某些情形可能要求快速但非实时的推理。我们研究不同配置并进行成本-性能分析，以确定在医疗领域约束下部署模型的优化硬件。我们观察到，朴素的性能比较可能不会导致最优的配置选择。事实上，在给定现实领域约束下，CPU执行可能优于GPU加速器。因此，事先明确模型部署的精确预期至关重要。
引用
@article{arxiv.1910.03060,
title = {Impact of Inference Accelerators on hardware selection},
author = {Dibyajyoti Pati and Caroline Favart and Purujit Bahl and Vivek Soni and Yun-chan Tsai and Michael Potter and Jiahui Guan and Xiaomeng Dong and V. Ratna Saripalli},
journal= {arXiv preprint arXiv:1910.03060},
year = {2019}
}