面向边缘 AI 的安全存储高效深度学习模型：基于自动权重生成的 WINGs
机器学习
2025-07-10 v1 人工智能
计算机视觉与模式识别
摘要
复杂的神经网络需要存储大量突触权重的大量内存。本工作引入了 WINGs（Automatic Weight Generator for Secure and Storage-Efficient Deep Learning Models），一种新型框架，可在推理期间动态生成全连接神经网络（FC）中的层权重，并压缩卷积神经网络（CNN）中的权重，显著降低内存要求而不牺牲准确率。WINGs 框架使用主成分分析（PCA）进行降维，并使用轻量级支持向量回归（SVR）模型预测 FC 网络中的层权重，无需存储完整权矩阵，从而实现显著的内存节省。它还通过 PCA 和 SVR 结合敏感性分析，优先压缩 CNN 中敏感性较低的层。这种敏感感知设计还提供了额外的安全水平，因为任何对压缩层权重的位翻转攻击都会对准确率产生放大且易检测的影响。WINGs 在 MNIST 数据集上实现了 FC 层的 53 倍压缩和 AlexNet 的 28 倍压缩，在 CIFAR-10 数据集上实现了 AlexNet 的 18 倍压缩，仅损失 1-2% 的准确率。这一显著的内存减少结果在 DNN 推理中实现更高的吞吐量和更低的能耗，使其针对资源受限的边缘应用具有吸引力。
引用
@article{arxiv.2507.06380,
title = {Secure and Storage-Efficient Deep Learning Models for Edge AI Using Automatic Weight Generation},
author = {Habibur Rahaman and Atri Chatterjee and Swarup Bhunia},
journal= {arXiv preprint arXiv:2507.06380},
year = {2025}
}
备注
7 pages, 7 figures