AI税：AI数据中心应用的隐性成本
分布式、并行与集群计算
2020-07-22 v1 性能
摘要
人工智能与机器学习在工业和学术界正得到广泛采用。这得益于通过日益复杂的算法和模型在AI应用与精度上的快速进步；而这又刺激了对专用硬件AI加速器的研究。鉴于进展迅速，人们很容易忘记这些系统往往是在真空中开发和评估的，而未考虑完整的应用环境。本文强调对AI工作负载进行整体端到端分析的必要性，并揭示了“AI税”。我们在边缘数据中心部署并刻画了人脸识别应用。该应用是一个以AI为核心的边缘视频分析应用，使用流行的开源基础设施和ML工具构建。尽管使用了最先进的AI和ML算法，该应用仍严重依赖预处理与后处理代码。随着以AI为核心的应用从加速器所承诺的加速中获益，我们发现它们对硬件和软件基础设施造成了压力：随着AI加速的提升，存储与网络带宽成为主要瓶颈。通过针对AI应用进行专门化，我们展示了一个为加速AI的压力而设计的专用边缘数据中心，相比由同质服务器和基础设施衍生的方案，总拥有成本(TCO)可降低15%。
引用
@article{arxiv.2007.10571,
title = {AI Tax: The Hidden Cost of AI Data Center Applications},
author = {Daniel Richins and Dharmisha Doshi and Matthew Blackmore and Aswathy Thulaseedharan Nair and Neha Pathapati and Ankit Patel and Brainard Daguman and Daniel Dobrijalowski and Ramesh Illikkal and Kevin Long and David Zimmerman and Vijay Janapa Reddi},
journal= {arXiv preprint arXiv:2007.10571},
year = {2020}
}
备注
32 pages. 16 figures. Submitted to ACM "Transactions on Computer Systems."