深度网络中不可复现性的合成研究
机器学习
2021-02-23 v1
摘要
深度网络的成功与优越性能正使其流行度与应用范围扩展到越来越多的领域。然而,近期工作表明,现代深度网络存在不可复现性(亦称非确定性或欠约束)。两个或多个在架构、结构、训练超参数及参数上完全相同,且在完全一致的训练数据上训练的模型,对个体未见样例给出不同预测。因此,在受控测试数据上表现良好的模型,在部署于真实世界时可能以意外方式表现,而真实世界数据预期与测试数据相似。我们研究简单合成模型与数据,以理解这些问题的根源。我们表明,即便仅含单一非线性且数据与模型极简,不可复现性仍会出现。我们的研究展示了在受控合成数据下,初始化随机性、训练数据洗牌窗口大小及激活函数对预测不可复现性的影响。尽管如人所料,初始化与训练样本洗牌中的随机性加剧了该现象,我们表明模型复杂度与非线性的选择也在深度模型不可复现中扮演重要角色。
引用
@article{arxiv.2102.10696,
title = {Synthesizing Irreproducibility in Deep Networks},
author = {Robert R. Snapp and Gil I. Shamir},
journal= {arXiv preprint arXiv:2102.10696},
year = {2021}
}