具有部分聚合神经网络的可微分 PAC-Bayes 目标
机器学习
2021-12-16 v1 机器学习
摘要
我们做出了三个相关的贡献，其动机是训练随机神经网络的挑战，特别是在 PAC-Bayesian 设定下：(1) 我们展示了通过对随机神经网络集成进行平均，能够实现一类新的“部分聚合”估计量；(2) 我们表明这些估计量对于不可微符号输出网络可带来可证明的更低方差的梯度估计；(3) 我们为这些网络重新表述了一个 PAC-Bayesian 界，以推导出一个可直接优化的可微分目标和一个泛化保证，而无需使用替代损失或放宽该界。该界在类似网络类型上比 Letarte 等人 (2019) 的界紧致两倍。我们通过实验表明，这些创新使训练更容易，并带来具有竞争力的保证。
引用
@article{arxiv.2006.12228,
title = {Differentiable PAC-Bayes Objectives with Partially Aggregated Neural Networks},
author = {Felix Biggs and Benjamin Guedj},
journal= {arXiv preprint arXiv:2006.12228},
year = {2021}
}