BUTTER 区：全连接神经网络训练动力学的实证研究
机器学习
2023-10-18 v2
摘要
我们提出了一个实证数据集，调查全连接前馈多层感知机神经网络上的深度学习现象。该数据集现已免费在线提供，记录了 483000 种不同超参数选择（涵盖架构、任务、深度、网络规模（参数量）、学习率、批量大小和正则化惩罚）的每轮训练与泛化性能。每个实验平均重复 24 次，共记录了 1100 万次训练运行和 400 亿轮 epoch。累积这个 1.7 TB 的数据集使用了 11000 CPU 核年、72.3 GPU 年和 163 节点年。在调查该数据集时，我们观察到跨任务和拓扑结构持续存在的稳定模式。我们旨在激发对机器学习技术的科学研究，以此作为推动该领域超越高能耗与启发式实践所需理论发现的催化剂。
引用
@article{arxiv.2207.12547,
title = {The BUTTER Zone: An Empirical Study of Training Dynamics in Fully Connected Neural Networks},
author = {Charles Edison Tripp and Jordan Perr-Sauer and Lucas Hayne and Monte Lunacek and Jamil Gafur},
journal= {arXiv preprint arXiv:2207.12547},
year = {2023}
}