分布鲁棒学习的无偏梯度估计
机器学习
2020-12-24 v1 机器学习
摘要
为提升模型泛化能力，我们考虑一种基于分布鲁棒学习（DRL）的新方法，该方法对外层极小化问题应用随机梯度下降。我们的算法通过多层蒙特卡洛随机化高效估计内层极大化问题的梯度。借助揭示标准梯度估计器失效原因的理论结果，我们确立了该方法梯度估计器的最优参数化，以平衡计算时间与统计方差之间的基本权衡。数值实验表明，我们的 DRL 方法相较先前工作具有显著优势。
引用
@article{arxiv.2012.12367,
title = {Unbiased Gradient Estimation for Distributionally Robust Learning},
author = {Soumyadip Ghosh and Mark Squillante},
journal= {arXiv preprint arXiv:2012.12367},
year = {2020}
}
备注
ICML 2020, AISTATS 2021 submission