HPD：面向模拟 CIM 硬件的混合投影分解
硬件体系结构
2025-08-19 v1 人工智能
机器学习
摘要
状态空间模型（SSM）是处理长序列且计算复杂度较低的高效序列模型替代方案。它们依赖矩阵乘法，因而适合计算存储器（CIM）架构，这类架构通过在存储器阵列内进行计算来提高能源效率。然而，CIM 中的器件非理想性会引入权重扰动，可能降低推理准确度。本文系统分析了 SSM 在噪声环境下的鲁棒性，识别出最终块和输出投影层对扰动更敏感。基于这些发现，我们提出了一种用于最后一个输出投影层的混合投影分解策略（HPD）。我们将原始权重矩阵替换为其 SVD 中的 U 和 Σ 的乘积，以适配现有硬件架构，同时将 V> 转移到数字硬件进行精确且稳健的校正。在 Mamba 模型上的全面测试表明，我们的方法在各种噪声条件下较基线模型将困惑度降低最高可达 99.57%，在 PIQA 常识推理基准上准确度提升最高可达 96.67%。
引用
@article{arxiv.2508.11935,
title = {HPD: Hybrid Projection Decomposition for Robust State Space Models on Analog CIM Hardware},
author = {Yuannuo Feng and Wenyong Zhou and Yuexi Lyu and Hanjie Liu and Zhengwu Liu and Ngai Wong and Wang Kang},
journal= {arXiv preprint arXiv:2508.11935},
year = {2025}
}
备注
4 pages, 5 figures, conference