用于模式连接体积与快速集成的损失曲面单纯形
机器学习
2021-11-17 v2 计算机视觉与模式识别
机器学习
摘要
通过更好地理解多层网络的损失曲面，我们可以构建更鲁棒且更精确的训练流程。最近研究发现，独立训练的SGD解可以沿一维的近恒定训练损失路径相连。本文中，我们证明存在连接许多独立训练模型的多维低损失流形，即模式连接单纯复形。受此发现启发，我们展示了如何高效构建单纯复形以实现快速集成，在准确率、校准以及对于数据集偏移的鲁棒性上优于独立训练的深层集成。值得注意的是，我们的方法仅需从预训练解出发进行几个训练轮次即可发现低损失单纯形。代码见 https://github.com/g-benton/loss-surface-simplexes。
引用
@article{arxiv.2102.13042,
title = {Loss Surface Simplexes for Mode Connecting Volumes and Fast Ensembling},
author = {Gregory W. Benton and Wesley J. Maddox and Sanae Lotfi and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2102.13042},
year = {2021}
}
备注
ICML 2021