PFGE：深度神经网络的简约快速几何集成
机器学习
2023-05-24 v8 人工智能
摘要
集成方法常用于提升机器学习模型的泛化性能。然而，由于训练深度神经网络（DNNs）集成所需的高计算开销，它们在深度学习系统中带来了挑战。快速几何集成（FGE）和快照集成等近期进展通过在训练单个模型相同的时间内训练模型集成解决了这一问题。尽管如此，与基于单模型的方法相比，这些技术在测试时推理仍需额外内存。本文提出一种称为简约 FGE（PFGE）的新方法，其采用通过连续随机权重平均过程生成的轻量级高性能 DNN 集成。我们在 CIFAR-{10,100} 和 ImageNet 数据集上针对多种现代 DNN 架构的实验结果表明，PFGE 在泛化性能不妥协的情况下，相比先前方法实现了 5 倍内存效率。相关代码已发布于 https://github.com/ZJLAB-AMMI/PFGE。
引用
@article{arxiv.2202.06658,
title = {PFGE: Parsimonious Fast Geometric Ensembling of DNNs},
author = {Hao Guo and Jiyong Jin and Bin Liu},
journal= {arXiv preprint arXiv:2202.06658},
year = {2023}
}
备注
This paper has been accepted by 19th Inter. Conf. on Intelligent Computing (ICIC 2023)