神经网络训练中的随机性：刻画工具链的影响
机器学习
2021-06-23 v1 神经与进化计算
摘要
机器学习中对确定性的追求不成比例地聚焦于刻画算法设计选择所引入噪声的影响。本工作中，我们解决一个理解较少且研究不足的问题：我们对工具链的选择如何给深度神经网络训练引入随机性。我们在不同硬件、加速器、前沿网络与开源数据集上开展大规模实验，以刻画工具链选择如何导致系统中的非确定性的程度、所述非确定性的影响，以及消除不同噪声源的成本。我们的发现令人惊讶，并表明非确定性的影响是微妙的。虽然 top-1 准确率等总体指标未受明显影响，模型在数据分布某些部分上的表现对随机性的引入远为敏感。我们的结果表明确定性工具链对 AI 安全至关重要。然而，我们也发现确保确定性的成本在神经网络架构与硬件类型间差异巨大，例如，在一系列广泛使用的 GPU 加速器架构上，相对于非确定性训练，开销分别高达 、 与 。本文所用源代码见 https://github.com/usyd-fsalab/NeuralNetworkRandomness。
引用
@article{arxiv.2106.11872,
title = {Randomness In Neural Network Training: Characterizing The Impact of Tooling},
author = {Donglin Zhuang and Xingyao Zhang and Shuaiwen Leon Song and Sara Hooker},
journal= {arXiv preprint arXiv:2106.11872},
year = {2021}
}
备注
21 pages, 10 figures