基于参数脆弱性的 CNN 成本有效容错
机器学习
2024-05-20 v1
摘要
卷积神经网络 (CNN) 已成为安全关键应用的核心组件，因而引发对其容错性的关注。常规的硬件相关容错方法，如三模块冗余 (TMR)，在 CNN 上计算开销巨大，带来显著的性能负担。虽然容错技术可在硬件层面或模型层面应用，但后者在不牺牲通用性方面提供了更多灵活性。本文引入一种针对 CNN 的模型级硬化方法，通过将错误更正直接集成到神经网络中来实现。该方法具有硬件中性，不需要对底层加速器设备进行任何更改。通过分析参数的脆弱性，可对选择性地复制滤波器/神经元进行硬化，以有效地通过一种高效且稳健的更正层纠正其输出通道。该方法的实验结果表明，容错性能几乎与 TMR 基于的纠错相当，但显著降低了开销。尽管 hardened CNN 仍存在固有的开销，但本文提出一种基于参数脆弱性的成本有效修剪技术，可超越常规修剪方法，构建更小的网络且几乎不损失准确性。令人惊讶的是，硬化后修剪后的 CNN 比硬化后未修剪的 CNN 快达 24%。
引用
@article{arxiv.2405.10658,
title = {Cost-Effective Fault Tolerance for CNNs Using Parameter Vulnerability Based Hardening and Pruning},
author = {Mohammad Hasan Ahmadilivani and Seyedhamidreza Mousavi and Jaan Raik and Masoud Daneshtalab and Maksim Jenihhin},
journal= {arXiv preprint arXiv:2405.10658},
year = {2024}
}
备注
7 pages, 7 figures, 2 tables, 32 references, the paper is accepted at IOLTS 2024