基于单一贝叶斯测试向量的 memristive 深度神经网络不确定性估计：few-shot 测试方法
机器学习
2024-05-30 v1 人工智能
新兴技术
摘要
深度学习算法如神经网络(NN)的性能近期提升显著，能够在诸多领域实现最先进性能。然而，由于内存和计算资源的限制，在边缘设备上实现NN是一个具有挑战性的任务。因此，开发了计算存储器(CIM)集成 memristive 器件的硬件加速器，以加速最常见的操作，即矩阵向量乘法。然而，由于器件固有属性、外部环境因素如温度，以及制造工艺不成熟，memristive器件受到各种非理想因素的影响，包括制造和运行期间的缺陷和变异。因此，缺乏对CIM硬件上NN预测所做出的模型做出完全信心的保障。为提高CIM硬件上NN预测在器件非理想因素存在下的可信度，本文提出了一种贝叶斯测试向量生成框架，用于估计在memristor-based CIM硬件上实现的NN的模型不确定性。与传统点估计测试向量生成方法相比，我们的方法在不同模型维度之间更具可推广性，只需在硬件中存储一个测试贝叶斯向量。我们在不同模型维度、任务、故障率和变异噪声下对方法进行评估，表明其能够在仅0.024 MB的内存开销下持续实现100%的覆盖率。
引用
@article{arxiv.2405.18894,
title = {Few-Shot Testing: Estimating Uncertainty of Memristive Deep Neural Networks Using One Bayesian Test Vector},
author = {Soyed Tuhin Ahmed and Mehdi Tahoori},
journal= {arXiv preprint arXiv:2405.18894},
year = {2024}
}