SOL: 无需修改源码即可为 AI 框架提供轻松的设备支持
分布式、并行与集群计算
2020-03-25 v1 机器学习
摘要
现代高性能计算集群严重依赖加速器来克服 CPU 有限的计算能力。这些超级计算机运行来自不同领域的各种应用,如仿真、数值应用或人工智能(AI)。因此,供应商需要能够在其硬件上高效运行广泛的工作负载。在 AI 领域,由于存在许多流行的框架(如 PyTorch、TensorFlow 等)且无共同代码库,且功能可能不同,这一问题尤为突出。这些框架的代码演进迅速,使得跟进所有变更代价高昂,并可能迫使开发者不断进行上游化。本文探讨如何在不修改框架源码的情况下为 AI 框架提供硬件支持,以最小化维护开销。我们引入 SOL,一种 AI 加速中间件,提供硬件抽象层,使我们能够透明地支持异构硬件。作为概念验证,我们为 PyTorch 实现了带三种后端(CPU、GPU 和向量处理器)的 SOL。
引用
@article{arxiv.2003.10688,
title = {SOL: Effortless Device Support for AI Frameworks without Source Code Changes},
author = {Nicolas Weber and Felipe Huici},
journal= {arXiv preprint arXiv:2003.10688},
year = {2020}
}
备注
HPML Workshop 2020