模型动物园：一个包含多样化神经网络模型种群的数据集
机器学习
2022-09-30 v1
摘要
近年来，神经网络（NN）已从实验室环境发展为许多现实世界问题的最先进方法。研究表明，NN 模型（即其权重与偏置）在训练过程中于权重空间上沿独特轨迹演化。进而，此类神经网络模型的一个种群（称为模型动物园）会在权重空间中形成结构。我们认为这些结构的几何、曲率与平滑度包含有关训练状态的信息，并能揭示个体模型的潜在属性。利用此类模型动物园，可探索以下新途径：(i) 模型分析，(ii) 发现未知学习动态，(iii) 学习此类种群的丰富表示，或 (iv) 利用模型动物园进行 NN 权重与偏置的生成式建模。遗憾的是，缺乏标准化的模型动物园与可用基准显著增加了关于 NN 种群进一步研究的阻力。本工作中，我们发布了一个新颖的模型动物园数据集，包含系统性生成且多样化的 NN 模型种群以供进一步研究。总体而言，所提出的模型动物园数据集基于八个图像数据集，由以不同超参数组合训练的 27 个模型动物园组成，包含 50'360 个独特 NN 模型及其稀疏化孪生模型，共收集超过 3'844'360 个模型状态。除模型动物园数据外，我们还提供了对动物园的深入分析，并给出了多个下游任务的基准。该数据集可在 www.modelzoos.cc 获取。
引用
@article{arxiv.2209.14764,
title = {Model Zoos: A Dataset of Diverse Populations of Neural Network Models},
author = {Konstantin Schürholt and Diyar Taskiran and Boris Knyazev and Xavier Giró-i-Nieto and Damian Borth},
journal= {arXiv preprint arXiv:2209.14764},
year = {2022}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022) Track on Datasets and Benchmarks