保护 Vision Transformer 参数的零内存开销方法
计算机视觉与模式识别
2025-07-08 v1
摘要
Vision Transformer (ViT) 由于使用了自注意力机制，在分类、目标检测和分割等各种视觉相关任务中表现出优于 Convolutional Neural Network (CNN) 的性能。随着 ViT 在自动驾驶等安全关键应用中日益普及，确保其功能正确性变得至关重要，尤其是在其存储于内存中的参数发生比特翻转故障的情况下。本文引入了一种容错技术，以零内存开销保护 ViT 参数免受比特翻转故障的影响。由于参数的最低有效位对模型精度不具关键性，用奇偶校验位替换最低有效位提供了一种错误检测机制，且不会给模型带来任何开销。当检测到故障时，通过将受影响的参数置零来进行掩码处理，由于 ViT 模型中的大多数参数接近于零，这能有效防止精度下降。该方法增强了各 ViT 模型的可靠性，将参数对比特翻转的鲁棒性提升了多达三个数量级，使其成为关键应用中有效的零开销容错解决方案。
引用
@article{arxiv.2507.03816,
title = {Zero Memory Overhead Approach for Protecting Vision Transformer Parameters},
author = {Fereshteh Baradaran and Mohsen Raji and Azadeh Baradaran and Arezoo Baradaran and Reihaneh Akbarifard},
journal= {arXiv preprint arXiv:2507.03816},
year = {2025}
}