FTT-NAS：面向故障容忍的卷积神经网络架构搜索
信号处理
2021-04-13 v2 机器学习
机器学习
摘要
随着嵌入式深度学习计算系统的快速发展，由深度学习驱动的应用正从云端走向边缘。当在复杂环境下将神经网络（NNs）部署到设备上时，存在多种可能的故障：由宇宙辐射和放射性杂质引起的软错误、电压不稳定、老化、温度变化以及恶意攻击者。因此，部署神经网络的安全风险正受到广泛关注。本文在分析各类神经网络加速器可能故障的基础上，从算法角度形式化并实现多种故障模型。我们提出故障容忍神经网络架构搜索（FT-NAS），以自动发现对当今设备中各类故障具有可靠性的卷积神经网络（CNN）架构。随后我们在搜索过程中引入故障容忍训练（FTT）以获得更好结果，称为 FTT-NAS。在 CIFAR-10 上的实验表明，所发现的架构以相当或更少的浮点运算次数（FLOPs）和参数量显著优于其他人工设计的基线架构。具体而言，在相同故障设置下，在特征故障模型下发现的 F-FTT-Net 达到 86.2% 的准确率（对比 MobileNet-V2 的 68.1%），在权重故障模型下发现的 W-FTT-Net 达到 69.6% 的准确率（对比 ResNet-20 的 60.8%）。通过检视所发现的架构，我们发现操作基元、权重量化范围、模型容量以及连接模式对神经网络模型的故障恢复能力有影响。
引用
@article{arxiv.2003.10375,
title = {FTT-NAS: Discovering Fault-Tolerant Convolutional Neural Architecture},
author = {Xuefei Ning and Guangjun Ge and Wenshuo Li and Zhenhua Zhu and Yin Zheng and Xiaoming Chen and Zhen Gao and Yu Wang and Huazhong Yang},
journal= {arXiv preprint arXiv:2003.10375},
year = {2021}
}
备注
24 pages; to appear in TODAES