面向混合 CPU 的动态并行方法用于性能优化
分布式、并行与集群计算
2024-12-02 v1 性能
摘要
AIPC 概念正日益流行，越来越多的混合 CPU 将在客户端设备上运行 AI 模型。然而，当前的 AI 推理框架忽略了混合 CPU 硬件能力的不平衡，导致推理性能低下。为解决此问题，我们引入了一种面向混合 CPU 的动态并行方法，通过在并行工作开始之前平衡每个核心的负载，显著提高了 LLM 推理性能。该方法使 Neural Speed 在两种混合英特尔 CPU 上实现了超过 90%（平均）的内存带宽。
关键词
引用
@article{arxiv.2411.19542,
title = {A dynamic parallel method for performance optimization on hybrid CPUs},
author = {Luo Yu and Liu Yucheng and Shen Haihao},
journal= {arXiv preprint arXiv:2411.19542},
year = {2024}
}