模型汤:在不增加计算时间的前提下提升推理性能
计算机视觉与模式识别
2023-01-25 v1 人工智能
摘要
在本文中,我们使用来自 arXiv:2203.05482 的三种汤配方(Greedy Soup Sorted、Greedy Soup Random 和 Uniform soup),在三种不同模型(ResNet、ViT 和 EfficientNet)上比较模型汤(Model Soups)的性能,并复现了作者的结果。随后我们引入一种称为 Pruned Soup 的新汤配方。对于预训练的视觉 Transformer,汤的结果优于最佳单个模型,但对于 ResNet 和 EfficientNet 则差得多。我们的剪枝汤(pruned soup)优于原论文中提出的均匀汤与贪婪汤。我们还讨论了实验过程中发现的权重平均的局限性。我们的模型汤库及不同模型实验的代码可在此处找到:https://github.com/milo-sobral/ModelSoup
引用
@article{arxiv.2301.10092,
title = {Model soups to increase inference without increasing compute time},
author = {Charles Dansereau and Milo Sobral and Maninder Bhogal and Mehdi Zalai},
journal= {arXiv preprint arXiv:2301.10092},
year = {2023}
}