作为随机种子函数的模型稳定性研究
机器学习
2019-09-24 v1 计算与语言
神经与进化计算
机器学习
摘要
在本文中，我们聚焦于通过考察所引入随机性对模型性能及模型总体鲁棒性的影响，来量化作为随机种子函数的模型稳定性。我们特别对随机种子在基于注意力、基于梯度和基于替代模型(LIME)的解释行为上的影响进行了受控研究。我们的分析表明，随机种子会对模型的一致性产生不利影响，从而导致反事实解释。我们提出了一种称为激进随机权重平均(ASWA)的技术及其扩展称为范数滤波激进随机权重平均(NASWA)，可改善模型在随机种子上的稳定性。借助我们基于 ASWA 和 NASWA 的优化，能够提升原始模型的鲁棒性，平均将模型性能的标准差降低 72%。
引用
@article{arxiv.1909.10447,
title = {On Model Stability as a Function of Random Seed},
author = {Pranava Madhyastha and Rishabh Jain},
journal= {arXiv preprint arXiv:1909.10447},
year = {2019}
}
备注
v1; Accepted for publication at CoNLL 2019