TensorFlow ResNet 中的非确定性
机器学习
2020-01-31 v1 神经与进化计算
机器学习
摘要
我们表明，在 TensorFlow 中于 GPU 上训练用于图像分类的 ResNet 时，其随机性主要由来自 GPU 的非确定性主导，而非由网络权重与偏置的初始化或所给小批量的序列主导。在固定种子下测试集准确率的方差为 0.02，相较不同种子下的 0.027——近 74% 的 ResNet 模型标准差是非确定性的。对测试集损失，标准差之比超过 80%。这些结果呼吁对深度学习模型更稳健的评估策略，因为跨运行结果中显著部分的差异可仅由 GPU 随机性产生。
引用
@article{arxiv.2001.11396,
title = {Non-Determinism in TensorFlow ResNets},
author = {Miguel Morin and Matthew Willetts},
journal= {arXiv preprint arXiv:2001.11396},
year = {2020}
}
备注
4 pages