深度神经网络量化以促成基于相变存储器的模拟硬件上的权重自校正
神经与进化计算
2023-10-03 v1 人工智能
机器学习
信号处理
摘要
近年来，硬件加速的神经网络在边缘计算应用中受到广泛关注。在各种硬件方案中，交叉开关阵列为神经网络权重的高效存储与操作提供了一条有前景的途径。然而，从训练好的浮点模型过渡到受硬件约束的模拟架构仍是一项挑战。在这项工作中，我们将一种专为此类架构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉开关连接来表示单个权重的正部和负部，我们开发了一种算法来逼近一组乘法权重。这些权重及其差值旨在以最小的性能损失表示原始网络的权重。我们使用 IBM 的 aihwkit 实现模型，并随时间评估其效能。我们的结果表明，当与片上脉冲发生器配对时，我们的自校正神经网络性能可与使用模拟感知算法训练的神经网络相媲美。
引用
@article{arxiv.2310.00337,
title = {Quantization of Deep Neural Networks to facilitate self-correction of weights on Phase Change Memory-based analog hardware},
author = {Arseni Ivanov},
journal= {arXiv preprint arXiv:2310.00337},
year = {2023}
}