GPU不确定性对预测型深度神经网络训练的影响
机器学习
2021-10-07 v4 神经与进化计算
性能
摘要
[已撤稿] 我们发现该差异依赖于Chainer库，并且使用另一库（pytorch）无法复现，这表明结果可能源于Chainer中的bug，而非硬件依赖。——旧摘要 深度神经网络常呈现诸如硬件与软件衍生的噪声和随机性之类的不确定性。我们研究了此类不确定性对学习结果的影响，特别关注图形处理单元（GPU）的功能，并发现GPU引发的不确定性提高了某深度神经网络的学习准确率。当仅使用CPU而不使用GPU训练预测型深度神经网络时，学习误差高于使用GPU训练相同轮数时，这表明GPU在学习过程中扮演着不同于仅提升计算速度的角色。由于该效应在简单自编码器的学习中无法观察到，它可能是特定于某些类型神经网络的现象。GPU特定的计算处理比CPU更不确定，而常被视为需消除之障碍的硬件衍生不确定性，在某些情况下或可被成功纳入深度神经网络的训练中。此外，此类不确定性或许是脑相关计算处理中值得考虑的有趣现象，后者包含大量不确定信号。
引用
@article{arxiv.2109.01451,
title = {Impact of GPU uncertainty on the training of predictive deep neural networks},
author = {Maciej Pietrowski and Andrzej Gajda and Takuto Yamamoto and Taisuke Kobayashi and Lana Sinapayen and Eiji Watanabe},
journal= {arXiv preprint arXiv:2109.01451},
year = {2021}
}
备注
The results obtained in Chainer did not replicate with a different python library, pointing to a software bug rather than hardware cause. The title and discussion of the paper are therefore irrelevant to the real cause