变分学习对大型深度网络有效
机器学习
2024-06-07 v2 人工智能
计算与语言
最优化与控制
机器学习
摘要
我们提供了大量实证证据，反驳了变分学习对大型神经网络无效的普遍观点。我们表明，一种名为改进变分在线牛顿法（Improved Variational Online Newton, IVON）的优化器在从头训练 GPT-2 和 ResNets 等大型网络时，表现始终持平或优于 Adam。IVON 的计算成本与 Adam 几乎相同，但其预测不确定性更优。我们展示了 IVON 的几个新用例，包括改进大语言模型中的微调和模型合并、准确预测泛化误差以及忠实估计对数据的敏感性。我们发现压倒性的证据表明变分学习是有效的。
引用
@article{arxiv.2402.17641,
title = {Variational Learning is Effective for Large Deep Networks},
author = {Yuesong Shen and Nico Daheim and Bai Cong and Peter Nickl and Gian Maria Marconi and Clement Bazan and Rio Yokota and Iryna Gurevych and Daniel Cremers and Mohammad Emtiyaz Khan and Thomas Möllenhoff},
journal= {arXiv preprint arXiv:2402.17641},
year = {2024}
}
备注
Published at International Conference on Machine Learning (ICML), 2024. The first two authors contributed equally. Code is available here: https://github.com/team-approx-bayes/ivon