深度神经网络的损失曲面、模式连通性与快速集成
机器学习
2018-10-31 v4 人工智能
机器学习
摘要
深度神经网络的损失函数十分复杂，其几何性质尚不为人所充分理解。我们表明，这些复杂损失函数的极小值实际上由简单曲线相连，沿这些曲线训练与测试精度几乎恒定。我们引入一种训练过程来发现这些模式之间的高精度通路。受这一新几何洞察的启发，我们还提出了一种称为快速几何集成（Fast Geometric Ensembling, FGE）的新集成方法。使用 FGE，我们能在训练单个模型所需的时间内训练出高性能集成模型。在 CIFAR-10、CIFAR-100 和 ImageNet 上，我们相比近期最先进的快照集成（Snapshot Ensembles）取得了更优的性能。
引用
@article{arxiv.1802.10026,
title = {Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs},
author = {Timur Garipov and Pavel Izmailov and Dmitrii Podoprikhin and Dmitry Vetrov and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:1802.10026},
year = {2018}
}
备注
Appears at Advances in Neural Information Processing Systems (NIPS), 2018