基于ReRAM的Transformer语言模型的零空间开销容错
机器学习
2024-01-23 v1 人工智能
硬件体系结构
摘要
电阻式随机存取存储器(ReRAM)因其支持并行原位矩阵-向量乘法而成为深度神经网络(DNNs)的一个有前景的平台。然而，硬件故障，例如固定故障缺陷，可能在模型推理期间导致显著的预测误差。虽然可以使用额外的交叉阵列来解决这些故障，但它们会带来存储开销，并且在空间、能量和成本方面效率不高。在本文中，我们提出了一种零空间开销的故障保护机制。我们的方法包括：1) 可微的行和列结构剪枝以减少模型冗余，2) 权重复制和投票以实现鲁棒输出，以及3) 将重复的最高有效位(MSB)嵌入到模型权重中。我们在GLUE基准测试的九个任务上使用BERT模型评估了我们的方法，实验结果证明了其有效性。
关键词
引用
@article{arxiv.2401.11664,
title = {Zero-Space Cost Fault Tolerance for Transformer-based Language Models on ReRAM},
author = {Bingbing Li and Geng Yuan and Zigeng Wang and Shaoyi Huang and Hongwu Peng and Payman Behnam and Wujie Wen and Hang Liu and Caiwen Ding},
journal= {arXiv preprint arXiv:2401.11664},
year = {2024}
}