MLDS:用于神经网络权重空间分析的数据集
机器学习
2021-04-22 v1 机器学习
摘要
神经网络是能解决各种复杂现实问题的强大模型。然而,典型神经模型中训练的随机性和大量参数使其难以通过检视进行评估。研究表明,这种不透明性可能隐藏潜在的不良行为,无论是来自代表性不足的训练数据,还是通过恶意意图破坏网络行为,并且这种行为难以通过损失等传统间接评估标准检测。因此,是时候探索通过其结构和权重直接评估已训练神经模型的方法了。本文中我们提出MLDS,一个由数千个训练好的神经网络组成的新数据集,这些网络具有精心控制的参数,并通过基于全球志愿者的分布式计算平台生成。该数据集使得对模型间及模型与训练数据间关系的新洞察成为可能。我们使用该数据集展示了在权重空间中具有相同训练数据的模型聚类和即便训练数据微小改变也在权重空间中有意义的分歧,表明权重空间分析是评估神经网络的一种可行且有效的损失替代方法。
引用
@article{arxiv.2104.10555,
title = {MLDS: A Dataset for Weight-Space Analysis of Neural Networks},
author = {John Clemens},
journal= {arXiv preprint arXiv:2104.10555},
year = {2021}
}
备注
For further information and download links, see https://www.mlcathome.org/