ReaLPrune：面向 ReRAM 交叉阵列的彩票票剪枝 CNN
硬件体系结构
2022-03-25 v3 新兴技术
摘要
在边缘端训练机器学习（ML）模型（终端用户设备上的片上训练）可以解决许多紧迫的挑战，包括数据隐私/安全，通过减少对通信基础设施和云基础设施的依赖来提高世界各地对 ML 应用的可及性，并满足 AR/VR 应用的实时需求。然而，现有的边缘平台没有足够的计算能力来支持复杂的 ML 任务，例如训练大型 CNN。基于 ReRAM 的架构为片上 CNN 训练/推理提供了高性能且高能效的计算平台。然而，基于 ReRAM 的架构无法随 CNN 的规模扩展。更大的 CNN 具有更多的权重，这需要更多的 ReRAM 单元，而无法集成在单个芯片中。此外，在片上训练更大的 CNN 将需要更高的功耗，而这些小型设备无法承受。剪枝是解决此问题的有效方法。然而，现有的剪枝技术要么仅针对推理，要么不是交叉阵列感知的。这导致在基于 ReRAM 的架构上进行 CNN 训练时硬件节省和性能收益次优。在本文中，我们通过提出一种新颖的交叉阵列感知剪枝策略（称为 ReaLPrune）来解决此问题，该策略可以剪枝超过 90% 的 CNN 权重。剪枝后的模型可以从头开始训练而没有任何精度损失。实验结果表明，与未剪枝的 CNN 相比，ReaLPrune 将硬件需求降低了 77.2%，并将 CNN 训练加速了约 20 倍。ReaLPrune 在性能和硬件节省方面也优于其他交叉阵列感知剪枝技术。此外，ReaLPrune 对于不同的数据集和更复杂的 CNN 同样有效。
引用
@article{arxiv.2111.09272,
title = {ReaLPrune: ReRAM Crossbar-aware Lottery Ticket Pruned CNNs},
author = {Biresh Kumar Joardar and Janardhan Rao Doppa and Hai Li and Krishnendu Chakrabarty and Partha Pratim Pande},
journal= {arXiv preprint arXiv:2111.09272},
year = {2022}
}
备注
13 pages, 9 figures