硬件感知训练中硬件诱导失真的受控诊断研究
机器学习
2026-05-12 v1
摘要
硬件感知训练（HAT）被广泛用于提升神经网络在非理想 AI 加速器（如模拟存内计算（IMC）系统）上的鲁棒性。然而，并非所有硬件诱导的失真都能通过训练同等程度地补偿。本文提出了一个诊断框架，将硬件非理想性建模为前向算子的结构化扰动，并评估其与基于梯度的优化的兼容性。我们分析了六类代表性扰动——读噪声、变异性、漂移、固定故障、IR-drop 和 ADC 离散化——并确定了三个关键诊断指标：梯度期望一致性、有界梯度方差和非退化敏感性。我们的结果显示，HAT 可补偿的扰动与持续破坏优化的扰动之间存在明确的分离。这为软硬件协同设计提供了实用指导，阐明了哪些非理想性可在训练层面解决，哪些需要在电路、架构或校准层面进行缓解。本研究应被解释为在原始前向扰动 HAT 下的受控经验分析，而非硬件感知训练的通用理论。
引用
@article{arxiv.2605.09416,
title = {A Controlled Diagnostic Study of Hardware-Induced Distortions in Hardware-Aware Training},
author = {Yunxuan Fang and Xinhe Wang},
journal= {arXiv preprint arXiv:2605.09416},
year = {2026}
}