一张票通赢：跨数据集与优化器的彩票票初始化泛化
机器学习
2019-10-29 v2 机器学习
神经与进化计算
摘要
彩票票初始化（Frankle and Carbin, 2019）的成功表明，只要网络被恰当初始化，小而稀疏化的网络也可以被训练。不幸的是，寻找这些“中奖票”初始化在计算上是昂贵的。一个潜在的解决方案是在多种数据集与优化器间复用同一中奖票。然而，中奖票初始化的泛化性仍不明确。在此，我们试图通过为一种训练配置（优化器与数据集）生成中奖票并评估其在另一种配置上的性能来回答这一问题。或许令人惊讶的是，我们发现，在自然图像领域内，中奖票初始化跨多种数据集泛化，包括 Fashion MNIST、SVHN、CIFAR-10/100、ImageNet 与 Places365，常取得接近于在同一数据集上生成的中奖票的性能。此外，使用较大数据集生成的中奖票始终比较小规模数据集生成的迁移更好。我们还发现中奖票初始化跨优化器以高性能泛化。这些结果表明，由足够大数据集生成的中奖票初始化包含了更广义上神经网络所共有的归纳偏置，从而改善多种设置下的训练，并为更好的初始化方法的开发提供了希望。
引用
@article{arxiv.1906.02773,
title = {One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers},
author = {Ari S. Morcos and Haonan Yu and Michela Paganini and Yuandong Tian},
journal= {arXiv preprint arXiv:1906.02773},
year = {2019}
}
备注
NeurIPS 2019