通过对抗正则化实现网络对参数噪声的不敏感性
机器学习
2022-06-14 v3
摘要
神经形态神经网络处理器，以存内计算忆阻器交叉阵列的形式，或以亚阈值模拟与混合信号ASIC的形式，为基于NN的机器学习任务在计算密度与能效上提供了巨大优势。然而，由于工艺变异与固有器件物理，这些技术易出现计算非理想性。这通过在部署模型中引入参数噪声，降低了部署到处理器的网络任务性能。虽然可以校准每个器件或为每个处理器单独训练网络，但这些方法对于商业部署昂贵且不实用。因此，需要替代方法以训练因网络架构与参数而固有地对抗参数变异鲁棒的网络。我们提出一种新的对抗网络优化算法，在训练期间攻击网络参数，并提升推理时面对参数变异的鲁棒性能。我们的方法引入一个正则化项，惩罚网络对权重扰动的敏感性。我们与先前产生参数不敏感性的方法（如dropout、权重平滑及在训练中引入参数噪声）进行比较。我们表明，我们的方法产生的模型对定向参数变异更鲁棒，对随机参数变异同样鲁棒。与其他方法相比，我们的方法在权重-损失景观中更平坦的位置找到极小值，突显出我们的技术所发现的网络对参数扰动较不敏感。我们的工作提供了一种将神经网络架构部署到存在计算非理想性的推理器件上且性能损失最小的方法。……
引用
@article{arxiv.2106.05009,
title = {Network insensitivity to parameter noise via adversarial regularization},
author = {Julian Büchel and Fynn Faber and Dylan R. Muir},
journal= {arXiv preprint arXiv:2106.05009},
year = {2022}
}