弥合领域特定框架与多种硬件设备之间的鸿沟
软件工程
2024-05-22 v1
摘要
领域特定框架的快速发展给我们带来了一个重大挑战：当前逐案实现解决方案的方法具有O(M*N)的理论复杂度，从而增加了将应用移植到不同硬件平台的成本。为应对这些挑战，我们提出了一种系统方法论，有效弥合了领域特定框架与多种硬件设备之间的鸿沟，将移植复杂度降低到O(M+N)。该方法利用多层抽象。采用不同的领域特定抽象来表示来自不同领域的应用。然后将这些抽象转换为统一抽象，随后将其翻译为原始算子的组合。最后，将这些算子映射到多个硬件平台。实现的统一框架支持深度学习、经典机器学习和数据分析，涵盖X86、ARM、RISC-V、物联网设备和GPU。它优于现有的解决方案，如scikit-learn、hummingbird、Spark和pandas，实现了令人印象深刻的加速：在X86服务器上为1.1倍至3.83倍，在ARM物联网设备上为1.06倍至4.33倍，在RISC-V物联网设备上为1.25倍至3.72倍，在GPU上为1.93倍。源代码可在https://github.com/BenchCouncil/bridger.git获取。
引用
@article{arxiv.2405.12491,
title = {Bridging the Gap Between Domain-specific Frameworks and Multiple Hardware Devices},
author = {Xu Wen and Wanling Gao and Lei Wang and Jianfeng Zhan},
journal= {arXiv preprint arXiv:2405.12491},
year = {2024}
}
备注
15pages, 8 figures