为嵌入式设备上鲁棒性与处理性能之间的权衡设计DNN
机器学习
2024-12-06 v1 人工智能
硬件体系结构
计算机视觉与模式识别
图像与视频处理
摘要
用于航天航行和自动驾驶等安全关键应用的基于机器学习的嵌入式系统需要抵御由软错误产生的扰动。软错误由于晶体管几何尺寸缩小和电压降低，使电子设备对背景辐射更敏感。深度神经网络（DNN）模型对其参数扰动的鲁棒性在很大程度上取决于模型的结构本身，以及所选的数值表示和使用的算术精度。当应用压缩技术（如模型修剪和模型量化）以减少内存占用和计算复杂度进行部署时，模型结构和数值表示也被修改，从而影响软错误鲁棒性。在此意义上，尽管激活函数（AF）的选择经常被忽视，它不仅决定了模型的准确性和可训练性，还决定了压缩率和数值鲁棒性。本文研究了使用受限激活函数来提高模型对DNN参数扰动鲁棒性的适合性，同时评估了这种选择对部署的影响，即模型准确性、压缩性和计算负担。具体而言，我们分析了旨在执行面向自动驾驶场景理解的高光谱图像语义分割的编码器-解码器全卷积模型。部署特征在AMD-Xilinx的KV260 SoM上进行了实验性表征。
引用
@article{arxiv.2412.03682,
title = {Designing DNNs for a trade-off between robustness and processing performance in embedded devices},
author = {Jon Gutiérrez-Zaballa and Koldo Basterretxea and Javier Echanobe},
journal= {arXiv preprint arXiv:2412.03682},
year = {2024}
}