Fathom：现代深度学习方法的参考工作负载
机器学习
2016-11-17 v1
摘要
深度学习因其近期在具有挑战性的人工智能问题上取得的成功而得到普及。其主导地位的原因之一也是一个持续的挑战：对巨大计算能力的需求。硬件架构师已提出一系列有前景的想法作为回应，但迄今为止，大部分工作都集中在特定应用领域中较为狭窄的特定算法上。虽然这些方法的特异性并未削弱其价值，但显然需要更灵活的解决方案。我们认为第一步是审视来自整个深度学习社区的尖端模型的特征。因此，我们构建了 Fathom：一个包含八个典型深度学习工作负载的集合，以供研究。这些模型中的每一个都源自深度学习社区的一项开创性工作，范围从 Krizhevsky 等人熟悉的深度卷积神经网络，到 Facebook 人工智能研究小组更为新奇的记忆网络。Fathom 已在线发布，本文侧重于理解每个模型的基本性能特征。我们使用一套围绕 TensorFlow 深度学习框架构建的应用级建模工具来分析 Fathom 工作负载的行为。我们展示了时间花费的分解、模型性能画像之间的相似性、对推理和训练行为的分析，以及并行化对扩展性的影响。
引用
@article{arxiv.1608.06581,
title = {Fathom: Reference Workloads for Modern Deep Learning Methods},
author = {Robert Adolf and Saketh Rama and Brandon Reagen and Gu-Yeon Wei and David Brooks},
journal= {arXiv preprint arXiv:1608.06581},
year = {2016}
}
备注
Proceedings of the IEEE International Symposium on Workload Characterization, 2016