PaCKD：用于压缩内存访问预测模型的模式聚类知识蒸馏
机器学习
2024-02-22 v1 硬件体系结构
摘要
深度神经网络 (DNN) 已被证明是精确内存访问预测 (MAP) 的有效模型，而 MAP 是通过数据预取缓解内存延迟的关键任务。然而，现有的基于 DNN 的 MAP 模型面临显著物理存储空间占用大和推理延迟差等挑战，这主要是由于其参数量巨大所致。这些局限性使得它们在实际场景中的部署变得不切实际。在本文中，我们提出了 PaCKD，一种模式聚类知识蒸馏 (Pattern-Clustered Knowledge Distillation) 方法，旨在压缩 MAP 模型的同时保持预测性能。PaCKD 方法包含三个步骤：将内存访问序列聚类为涉及相似模式的不同分区；为每个分区训练大型特定模式教师模型以进行内存访问预测；通过从训练好的特定模式教师模型中蒸馏知识来训练单个轻量级学生模型。我们在 LSTM、MLP-Mixer 和 ResNet 模型上评估了我们的方法，因为这些模型展现出多样的结构并被广泛用于图像分类任务，以此测试它们在四种广泛使用的图应用中的有效性。与拥有 5.406M 参数且 F1-score 为 0.4626 的教师模型相比，我们的学生模型实现了 552 倍的模型大小压缩，同时保持了 0.4538 的 F1-score（性能仅下降 1.92%）。与使用标准知识蒸馏训练的学生模型相比，我们的方法结果高出 8.70%；与未使用任何形式知识蒸馏训练的学生模型相比，结果高出 8.88%。
引用
@article{arxiv.2402.13441,
title = {PaCKD: Pattern-Clustered Knowledge Distillation for Compressing Memory Access Prediction Models},
author = {Neelesh Gupta and Pengmiao Zhang and Rajgopal Kannan and Viktor Prasanna},
journal= {arXiv preprint arXiv:2402.13441},
year = {2024}
}
备注
6 pages, 2 figures, HPEC '23