CrossedWires：一个句法等价但语义相异的深度学习模型数据集
机器学习
2021-08-31 v1 计算机视觉与模式识别
摘要
使用不同深度学习框架训练神经网络，尽管采用相同的神经网络架构和相同的训练超参数（如学习率和优化算法的选择），可能导致截然不同的准确率水平。目前，我们构建标准化深度学习模型的能力受到可用基准套件（暴露现有深度学习框架之间差异的神经网络及相应训练超参数基准）的限制。在本文中，我们提出了一个名为 CrossedWires 的模型与超参数动态数据集，它揭示了两个流行深度学习框架 PyTorch 和 Tensorflow 之间的语义差异。CrossedWires 数据集目前由在 CIFAR10 图像上使用三种不同计算机视觉架构训练的模型组成：VGG16、ResNet50 和 DenseNet121，覆盖较大的超参数空间。利用超参数优化，每个模型使用 HyperSpace 搜索算法建议的 400 组超参数进行训练。CrossedWires 数据集包含句法等价模型和相同超参数选择下测试准确率差异高达 0.681 的 PyTorch 和 Tensorflow 模型。此处提供的 340 GB 数据集和基准包含全部 1200 个超参数选择（共 2400 个模型）的性能统计、训练曲线和模型权重。CrossedWires 数据集为研究流行深度学习框架下句法等价模型的语义差异提供了机会。此外，从本研究中获得的见解能够促进提升深度学习框架可靠性和可复现性的算法与工具的开发。该数据集可通过 Python API 和直接下载链接在 https://github.com/maxzvyagin/crossedwires 免费获取。
引用
@article{arxiv.2108.12768,
title = {CrossedWires: A Dataset of Syntactically Equivalent but Semantically Disparate Deep Learning Models},
author = {Max Zvyagin and Thomas Brettin and Arvind Ramanathan and Sumit Kumar Jha},
journal= {arXiv preprint arXiv:2108.12768},
year = {2021}
}
备注
13 pages