机器学习的 Dropout 训练是分布鲁棒最优的
机器学习
2021-04-15 v2 机器学习
摘要
本文表明，广义线性模型中的 dropout 训练是一个两人零和博弈的极小极大解，其中对抗性的自然以乘法非参数变量误差模型破坏统计学家的协变量。在该博弈中，自然的最不利分布是 dropout 噪声，即自然以某个固定概率 独立地删除协变量向量的条目。这一结果意味着，dropout 训练确实为源于样本内数据的乘法扰动的分布提供了样本外期望损失保证。除决策理论分析外，本文还做出了两点贡献。首先，就如何选择调优参数 给出了具体建议，以保证当样本量增大时，dropout 训练后的样本内损失以某个预先指定的概率超过真实总体损失。其次，本文提出了一种新颖的、可并行化的无偏多级蒙特卡洛（Unbiased Multi-Level Monte Carlo）算法，以加速 dropout 训练的实现。与 dropout 的朴素实现相比，当数据点数远小于协变量向量维度时，我们的算法计算代价小得多。
引用
@article{arxiv.2009.06111,
title = {Machine Learning's Dropout Training is Distributionally Robust Optimal},
author = {Jose Blanchet and Yang Kang and Jose Luis Montiel Olea and Viet Anh Nguyen and Xuhui Zhang},
journal= {arXiv preprint arXiv:2009.06111},
year = {2021}
}