用于贝叶斯深度学习的数据增强
机器学习
2022-10-25 v4 机器学习
统计方法学
摘要
深度学习（DL）方法已成为用于函数逼近和预测的最强大工具之一。尽管 DL 的表示性质已被充分研究，但不确定性量化仍具挑战且在很大程度上未被探索。数据增强技术是提供不确定性量化并将随机蒙特卡洛搜索引入随机梯度下降（SGD）方法的一种自然方法。本文旨在证明使用数据增强训练 DL 架构可带来效率提升。我们利用正态分布尺度混合理论推导了深度学习的数据增强策略。这使得期望最大化算法和 MCMC 算法的变体能够应用于这些高维非线性深度学习模型。为了演示我们的方法，我们针对多种常用激活函数开发了数据增强算法：logit、ReLU、leaky ReLU 和 SVM。我们的方法与传统的带反向传播的随机梯度下降进行了比较。我们的优化过程导出了一个迭代重加权最小二乘的版本，并可通过加速线性代数方法实现大规模运行，从而显著提升速度。我们在多个标准数据集上展示了该方法。最后，我们总结了未来研究的方向。
引用
@article{arxiv.1903.09668,
title = {Data Augmentation for Bayesian Deep Learning},
author = {Yuexi Wang and Nicholas G. Polson and Vadim O. Sokolov},
journal= {arXiv preprint arXiv:1903.09668},
year = {2022}
}