深度学习框架抽象代价的比较
机器学习
2020-12-15 v1 性能
摘要
用于实现、训练和测试深度学习（DL）模型的高级抽象层出不穷。此类框架主要通过抽象掉任意神经架构的实现细节来发挥作用，从而使研究人员和工程师能够专注于设计。原则上，此类框架可以是“零代价抽象”；而在实践中，它们会产生转换与间接开销。我们研究在 DL 模型的工程生命周期中，究竟在哪些节点付出了最高代价，以及这些代价能否被缓解。我们使用 PyTorch、LibTorch、TorchScript 和 cuDNN 在代表性数据集上训练、测试和评估了一个代表性 DL 模型，比较了准确率、执行时间与内存效率。
引用
@article{arxiv.2012.07163,
title = {Comparing the costs of abstraction for DL frameworks},
author = {Maksim Levental and Elena Orlova},
journal= {arXiv preprint arXiv:2012.07163},
year = {2020}
}