彩票池：在不增加训练或推理成本下通过插值票据赢得更多
机器学习
2023-04-05 v4 人工智能
摘要
彩票票(LTs) 能够发现准确且稀疏的子网络，这些子网络可独立训练以匹配稠密网络的性能。与此同时，集成(ensemble)是机器学习中最古老且久经考验的技巧之一，通过结合多个独立模型的输出来提升性能。然而，在 LTs 语境下集成的优势会被稀释，因为集成并不直接产生更强的稀疏子网络，而是利用其预测做出更好的决策。在这项工作中，我们首先观察到直接对相邻已学习子网络的权重取平均能显著提升 LTs 的性能。受此观察启发，我们进一步提出了一种替代方法，通过简单的插值策略对迭代幅值剪枝所识别的子网络执行“集成”。我们将该方法称为彩票池(Lottery Pools)。与不会给单个子网络带来性能提升的朴素集成不同，彩票池在不要求任何额外训练或推理成本的情况下，产生了比原始 LTs 强得多的稀疏子网络。在 CIFAR-10/100 和 ImageNet 上的多种现代架构中，我们表明我们的方法在分布内和分布外场景下均取得了显著性能增益。令人印象深刻的是，使用 VGG-16 和 ResNet-18 评估时，所产生的稀疏子网络在 CIFAR-100 上超越原始 LTs 达 1.88%，在 CIFAR-100-C 上达 2.36%；所得稠密网络在 CIFAR-100 上超越预训练稠密模型达 2.22%，在 CIFAR-100-C 上达 2.38%。
引用
@article{arxiv.2208.10842,
title = {Lottery Pools: Winning More by Interpolating Tickets without Increasing Training or Inference Cost},
author = {Lu Yin and Shiwei Liu and Meng Fang and Tianjin Huang and Vlado Menkovski and Mykola Pechenizkiy},
journal= {arXiv preprint arXiv:2208.10842},
year = {2023}
}
备注
Published in AAAI 2023. Code can be found at https://github.com/luuyin/Lottery-pools