Inclusive-PIM：面向商用 PIM 架构广泛加速的软硬件协同设计
硬件体系结构
2024-01-18 v3
摘要
对内存带宽的持续需求使得内存厂商重新评估存内处理（PIM）变得值得，其通过将计算单元置于内存中或内存附近来实现更高带宽。因此，内存厂商近期提出了具有商业可行性的 PIM 设计。然而，这些提案很大程度上由（一小部分）机器学习（ML）原语的需求所驱动。尽管鉴于 ML 日益增长的重要性此类提案是合理的，但由于内存是一种普适组件，本工作主张一种更具包容性的 PIM 设计，能够跨领域加速原语。在本工作中，我们探明商用 PIM 提案跨领域加速各类原语的能力。我们首先概述一组特征，称为 PIM 适用性测试（PIM-amenability-test），其有助于评估给定原语是否可能被 PIM 加速。接下来，我们将该测试应用于所研究的原语，以确定高效的数据放置与编排，从而将原语映射到底层 PIM 架构。我们在此观察到，尽管所研究的原语大体上适于 PIM，现有商用 PIM 提案并未对这些原语实现其性能潜力。为此，我们识别 PIM 执行中出现的瓶颈，并提出硬件与软件优化，以拓宽商用 PIM 设计的加速范围（相对 GPU 基线将平均 PIM 加速比从 1.12x 提升至 2.49x）。总体而言，尽管我们认为新兴商用 PIM 提案在应用加速领域增添了一个必要且互补的设计点，但软硬件协同设计对于广泛发挥其优势是必要的。
引用
@article{arxiv.2309.07984,
title = {Inclusive-PIM: Hardware-Software Co-design for Broad Acceleration on Commercial PIM Architectures},
author = {Johnathan Alsop and Shaizeen Aga and Mohamed Ibrahim and Mahzabeen Islam and Andrew Mccrabb and Nuwan Jayasena},
journal= {arXiv preprint arXiv:2309.07984},
year = {2024}
}