GoldenTransformer：面向 Transformer 鲁棒性研究的模块化故障注入框架

Transformer 已成为自然语言处理、计算机视觉及其他机器学习领域众多前沿模型的基础。尽管其广泛部署，但在故障条件下的鲁棒性仍未得到充分探索。我们提出 GoldenTransformer，一个模块化且可扩展的故障注入框架，用于评估大型语言模型 (LLM) 面对诱导硬件故障的韧性。GoldenTransformer 提供了一个基于 Python 的统一平台，用于注入多种类型的故障——包括权重损坏、激活注入以及注意力层级干扰——到预训练的 Transformer 模型中。灵感来自针对深度神经网络 (DNN) 的 GoldenEye 模拟器，其框架聚焦于处理大型 Transformer 架构所特有的挑战，包括结构复杂性、潜在依赖关系以及非均匀层定义。GoldenTransformer 基于 PyTorch 和 HuggingFace Transformers 构建，支持实验可重复性、指标记录以及可视化。我们详细阐述了 GoldenTransformer 的技术设计及其用法，并通过自然语言分类与生成任务中的多个示例实验进行演示。通过在 Transformer 的多个逻辑与结构节点实现受控故障注入，GoldenTransformer 为研究人员和实践者提供了一个宝贵的工具，用于模型鲁棒性分析及为实际 LLM 应用指导可靠系统设计。