用于贝叶斯深度学习的可学习伯努利丢弃
机器学习
2020-02-13 v1 机器学习
摘要
在这项工作中，我们提出可学习伯努利丢弃（LBD），一种与模型无关的新的丢弃方案，它将丢弃率视为与其他模型参数联合优化的参数。通过对伯努利丢弃进行概率建模，我们的方法在深度模型中实现了更鲁棒的预测与不确定性量化。特别地，当与变分自编码器（VAEs）结合时，LBD 支持灵活的半隐式后验表示，从而导出新的半隐式 VAE（SIVAE）模型。我们使用 Augment-REINFORCE-Merge（ARM）——一种无偏且低方差的梯度估计器——求解关于丢弃参数的训练优化。我们在一系列任务上的实验表明，与其他常用丢弃方案相比，我们的方法具有更优性能。总体而言，LBD 在图像分类和语义分割中带来了准确率和不确定性估计的提升。此外，使用 SIVAE，我们能在多个公开数据集上取得隐式反馈协同过滤的当前最优性能。
引用
@article{arxiv.2002.05155,
title = {Learnable Bernoulli Dropout for Bayesian Deep Learning},
author = {Shahin Boluki and Randy Ardywibowo and Siamak Zamani Dadaneh and Mingyuan Zhou and Xiaoning Qian},
journal= {arXiv preprint arXiv:2002.05155},
year = {2020}
}
备注
To appear in AISTATS 2020