ClipFormer：基于忆阻交叉阵列的 Transformer 键值裁剪以抑制写入噪声
机器学习
2024-07-30 v1 新兴技术
摘要
Transformer 彻底改变了从自然语言处理到计算机视觉的各种现实应用。然而，由于其巨大的模型规模，传统的冯·诺依曼计算范式在加速 Transformer 时面临内存和带宽限制。为此，基于非易失性存储器 (NVM) 的存内计算 (IMC) 交叉阵列因其能够以高能效执行高度并行的矩阵 - 向量乘法 (MVM) 而成为加速 Transformer 的有前景的解决方案。然而，交叉阵列中的模拟 MVM 操作会引入非理想性，如随机读取和写入噪声，从而影响部署的 Transformer 的推理精度。具体而言，我们发现预训练的视觉 Transformer (ViT) 在交叉阵列上表现脆弱，这是因为写入噪声影响了注意力层中动态生成的键 (K) 和值 (V) 矩阵，而这一效应在先前的研究中未被考虑。因此，我们提出了 ClipFormer，这是一种在推理过程中对 K 和 V 矩阵进行的变换，旨在提升预训练 ViT 模型在非理想条件下的精度。ClipFormer 不需要额外的硬件和训练开销，并且适用于部署在任何忆阻交叉阵列平台上的 Transformer。我们在 ImageNet-1k 数据集上使用预训练的 DeiT-S Transformer 进行的实验表明，在标准训练和感知变异训练下，通过应用 ClipFormer，在高写入噪声区域可将非理想精度提高 10-40% 以上。
引用
@article{arxiv.2402.02586,
title = {ClipFormer: Key-Value Clipping of Transformers on Memristive Crossbars for Write Noise Mitigation},
author = {Abhiroop Bhattacharjee and Abhishek Moitra and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2402.02586},
year = {2024}
}
备注
9 pages, 10 figures, 3 tables, 1 appendix